Skip to content

非公式本サイトは非公式の日本語ドキュメントであり、Cloudflare 公式サイトではありません。最新情報はdevelopers.cloudflare.comをご確認ください。

Web サイト

最終更新 Markdown で表示Agent セットアップ

所有する Web サイトを、AI Search インスタンスのデータソースとして接続できます。AI Search はページを自動でクロールし、インデックスします。

同じ Cloudflare アカウントにオンボード済みのドメインだけをクロールできます。ドメインの追加については、ドメインをオンボードする を参照してください。

始める

新しいインスタンスを作成するとき、ダッシュボード、REST API、または Wrangler から Web サイトを接続できます。Web サイトは任意のデータソースで、組み込みストレージ と併用できます。

Web サイトのクロールの仕組み

AI Search はサイト上のページを見つけ、それぞれを取得し、Markdown に変換し、チャンクに分割してインデックスへ追加します。ページの見つけ方は パースタイプ で制御します。

  • Sitemap（デフォルト）: サイトが公開している XML sitemap を読みます。
  • Discover: ソース URL から開始し、デフォルトでは sitemap と、クロールしたページ上のリンクの両方を使います。

各タイプのページの見つけ方、sitemap と同期の扱い、一方にだけ適用される設定については、パースタイプ を参照してください。

ストレージ

クロールしたページは、組み込みストレージに自動で保存されます。

Web サイトからパースしたアイテムを確認するには、Items API で インスタンスのアイテムを一覧表示 するか、ダッシュボードの Items タブを開きます（AI > AI Search > 対象インスタンス > Items）。

設定

オンボーディング中、またはあとからインスタンス設定の Parser options で、次のオプションを設定します。

オプション 説明
パスフィルタリング クロール対象ページを決める、URL パターンの包含と除外です。
パースタイプ クローラーがページを見つける方法です。Sitemap は XML sitemap を読みます。Discover はソース URL から開始し、デフォルトでは sitemap と見つけたリンクの両方を使います。
特定の sitemap AI Search が検出する sitemap ではなく、指定した sitemap URL のセットをクロールします。最大 5 つの URL です。sitemap パースタイプにのみ適用されます。
Discover オプション 検出ソース、ページ上限、クロール深度、キャッシュ経過時間、外部リンクとサブドメインをたどるかどうかです。discover パースタイプにのみ適用されます。
レンダリングモード ページを生 HTML としてダウンロードするか、先にヘッドレスブラウザで読み込むかです。
認証ヘッダー 各リクエストに付けるカスタム HTTP ヘッダーです。認証の背後にあるページへクローラーが到達できます。最大 5 つのヘッダーです。
コンテンツセレクター CSS セレクターに一致する要素だけをインデックスし、ナビゲーション、サイドバー、フッターをスキップします。
カスタムメタデータ 各ページの <head> 内の <meta> タグから抽出した値です。インデックス済みコンテンツと一緒に保存されます。

パスフィルタリング

URL パスの包含ルールと除外ルールを定義し、インデックスするページを制御できます。サイトの特定セクションだけをインデックスしたり、検索対象にしたくないコンテンツを除外したりするときに使います。

たとえば、ブログ記事だけをインデックスし、下書きを除外する場合は次のとおりです。

  • Include: **/blog/**
  • Exclude: **/blog/drafts/**

パターン構文、フィルタリングの動作、その他の例は、パスフィルタリング を参照してください。

対応ファイル形式とサイズ上限は、データソース を参照してください。

レンダリングモード

クロール中のページのパース方法を選べます。

  • Static sites: 各ページの生 HTML をダウンロードします。
  • Rendered sites: ヘッドレスブラウザでページを読み込み、動的な JavaScript コンテンツを含む、完全にレンダリングされた版をダウンロードします。

WAF で AI Search を許可する

自サイトのボット活動をブロックする Security rules を設定している場合は、AI Search ボットを許可するルールを追加できます。検証済みの識別情報とユーザーエージェントは、Cloudflare Radar のボットディレクトリにある AI Search ↗ を参照してください。

  1. Cloudflare ダッシュボードで Security rules ページを開きます。

    Security rules を開く ↗

  2. 空のルールを新規作成するには、Create rule > Custom rules を選びます。

  3. Rule name にわかりやすい名前を入力します。例: Allow AI Search。

  4. When incoming requests match で、Field のドロップダウンから Bot Detection ID を選びます。Operator は equals を選びます。Value には 122933950 を入力します。

  5. Then take action の Choose action ドロップダウンで、Skip を選びます。

  6. Place at で、Select order ドロップダウンの順序を First にします。順序を First にすると、このルールが後続ルールより先に適用されます。

  7. ルールを保存してデプロイするには、Deploy を選びます。

制限

Web サイトのデータソースを使う場合も、通常の AI Search の 制限 が適用されます。次の制限は、どちらの Workers プランでも Web サイトのデータソースに適用されます。

制限 値
1 回のクロールあたりのページ数、discover パースタイプ 100,000
クロール深度、discover パースタイプ 100,000 リンクホップ（デフォルトは 5）
キャッシュ済みページの経過時間、discover パースタイプ 604,800 秒（7 日）
特定の sitemap の URL インスタンスあたり 5
認証ヘッダー インスタンスあたり 5
コンテンツセレクター のエントリ インスタンスあたり 10
コンテンツセレクターのパスパターンとセレクターの長さ それぞれ 200 文字

インスタンスあたりのファイル数 の制限も適用されるため、実効上限はいずれか低い方です。クローラーは上限に達するまで、最初に訪れたページからインデックスします。最大ファイルサイズを超えるファイルはインデックスされません。

役に立ちましたか？