AnyCrawl よくある質問

AnyCrawl とは何ですか？

AnyCrawl は、Web サイトを AI モデルや大規模言語モデル（LLM）向けに最適化されたクリーンで構造化されたデータに変換するための、Node.js/TypeScript 製のクローラーです。リアルタイムクローリング、マルチエンジン対応、高性能処理などの機能を提供し、あらゆる Web サイトから有意義なコンテンツを抽出します。

AnyCrawl を使用した Web クローリングは合法ですか？

Web クローリングの合法性は、対象 Web サイトの利用規約および適用される法律によって異なります。AnyCrawl はツールを提供しますが、ユーザーは自身のクローリング活動が関連規制と Web サイトのポリシーに準拠していることを確認する責任があります。

AnyCrawl はどのようなデータ形式をサポートしていますか？

AnyCrawl は、Markdown、JSON、構造化 HTML など、複数のデータ形式をサポートしています。画像、動画、その他のメディアファイルを処理でき、ダウンストリーム処理や AI アプリケーションに最適な、クリーンで整理された出力を提供します。

JavaScript でレンダリングされた Web サイトは対応していますか？

はい。AnyCrawl は Playwright エンジンを使用して、JavaScript でレンダリングされた Web サイトに対応しています。シングルページアプリケーション（SPA）や動的コンテンツの読み込みをサポートし、現代の Web アプリケーションから包括的なデータ抽出を実現します。

料金体系はどうなっていますか？

AnyCrawl はクレジットベースのシステムを採用しており、約 1 クレジットで 1 ページ/URL をスクレイプできます。料金プランは、月に 1,500 クレジットを提供する無料枠から、最大 100,000 クレジットのエンタープライズプラン、および特定の要件向けのカスタムソリューションまであります。

どのような場合にクレジットが消費されますか？

AnyCrawl が 1 つの URL または Web ページを処理すると、通常は 1 クレジットが消費されます。正確なクレジット使用量は、ページの複雑さとクローリング中に使用された特定の機能によって変わる場合があります。

定期的なクロールをスケジュールできますか？

定期的なクロール機能は近日対応予定です。現在、ユーザーは API またはダッシュボードから手動でクロールを開始できます。定期的なデータ抽出タスク向けの自動スケジューリング機能を導入する予定です。

プロキシ対応はありますか？

はい。AnyCrawl にはローテーティングプロキシ対応が含まれており、ユーザーが複数のページや Web サイトをクロールする際に IP アドレスを管理し、レート制限を回避するのに役立ちます。この機能はすべての有料プランで利用できます。

• AnyCrawl のウェブサイト https://anycrawl.dev/ にアクセスして、その機能と能力を探索します。
• 無料アカウントにサインアップして、1,500 クレジットを受け取り、ウェブクロールサービスの使用を開始します。
• 提供された API を使用して、AnyCrawl をアプリケーションに統合し、シームレスなウェブデータ抽出を実現します。
• クロールする目的の URL を入力し、最適な結果を得るために適切なエンジン（例：auto）を選択します。
• 構造化されたデータ出力を確認します。これは AI および LLM 向けにフォーマットされており、クリーンで整理された情報を確保します。