AI Crawl Control の Directives タブでは、ホスト名全体で AI クローラーが robots.txt ファイルとどうやり取りしているかを把握できます。リクエストパターンの監視、ファイルの可用性の確認、ディレクティブに違反するクローラーの特定、AI エージェント向けのサイト準備状況の評価ができます。
ディレクティブの分析を開く手順は次のとおりです。
-
Cloudflare ダッシュボード ↗ にログインし、アカウントとドメインを選択します。
-
AI Crawl Control を開きます。
AI Crawl Control を開く ↗ -
Directives タブを開きます。
タブ上部のステータスカードは、Cloudflare が robots.txt ファイルを管理しているかどうかを示します。
有効な場合、Cloudflare は学習用の一般的な AI クローラーをブロックするディレクティブを含め、Content Signals Policy も robots.txt に含めます。Cloudflare が robots.txt をどう管理するかは、マネージド robots.txt を参照してください。
タブ上部のフィルターで、robots.txt リクエストの分析範囲を狭められます。
- 特定のクローラー名で絞り込みます（例: Googlebot や特定の AI ボット）。
- クローラーを運用している主体で絞り込み、直接のライセンス機会や既存契約を把握します。
- 一般的な用途で絞り込みます（例: AI 学習、一般検索、AI アシスタント）。
- 履歴分析用にカスタムの期間を選びます。
すべての表と指標の値は、フィルターに応じて更新されます。
Robots.txt availability テーブルは、選択した期間における各ホスト名の robots.txt ファイルへのリクエスト頻度と健全性を示します。
| 列 | 説明 |
|---|---|
| Path | リクエスト対象のホスト名の robots.txt ファイルです。パスはリクエスト数の多い順です。 |
| Requests | このパスへのリクエスト総数です。内訳は次のとおりです。 - Successful: HTTP ステータスコード 400 未満（200 OK とリダイレクトを含みます）。 - Unsuccessful: HTTP ステータスコード 400 以上。 |
| Status | robots.txt ファイルを ping したときの HTTP ステータスコードです。 |
| Content Signals | robots.txt ファイルに Content Signals ↗ があるかどうかを示します。Content Signals は、AI 学習、検索、AI 入力での利用に関するディレクティブです。 |
このテーブルから、次の対応ができます。
- 失敗リクエストが多い場合は、クローラーが
robots.txtにアクセスできていない可能性があります。- Status が
404 Not Foundなら、明確なディレクティブを伝えるrobots.txtファイルを作成します。 - ファイルがある場合は、アクセスをブロックしている可能性のあるアップストリームの WAF ルールやほかのセキュリティ設定を確認します。
- Status が
- Content Signals 列でシグナル欠落が示されている場合は、
robots.txtに追加します。Content Signals ↗ の手順に従うか、マネージドrobots.txtを有効にして Cloudflare に管理を任せます。
Robots.txt violations テーブルは、robots.txt で明示的に禁止したパスへリクエストした AI クローラーを特定します。非準拠のクローラーを見つけ、適切な対応を取るのに役立ちます。
| 列 | 説明 |
|---|---|
| Crawler | robots.txt ディレクティブに違反したボットの名前です。クローラー名の直下に運用者も表示されます。 |
| Path | クローラーがアクセスしようとした、robots.txt で禁止されている URL またはパスです。 |
| Directive | そのパスへのアクセスを禁止した robots.txt の該当行です。 |
| Violations | 選択した期間内に、禁止されたパス / ディレクティブの組み合わせへ送られた HTTP リクエスト数です。 |
robots.txt ディレクティブに違反するクローラーを見つけたら、次の対応ができます。
- Crawlers タブ を開き、非準拠のクローラーを恒久的にブロックします。
- Cloudflare WAF で、違反クローラー向けのパス固有のセキュリティルールを作成します。
- Redirect Rules で、違反クローラーをサイトの適切な場所へ誘導します。
Agent Readiness カードで、サイトが AI エージェント向けにどれだけ整っているかを確認できます。Check readiness score を選択すると、AI エージェント連携の新しい標準に照らしてサイトをスキャンします。対象は次のとおりです。
- Robots.txt configuration: 適切なディレクティブを持つ有効な
robots.txtがあるか - Markdown for Agents: AI 向けに最適化したコンテンツ配信のためのコンテンツネゴシエーションに対応しているか
- Content Signals Policy: AI クローラーへコンテンツ利用の意向を示しているか
スキャンは isitagentready.com ↗ で実行されます。結果には、AI エージェントやクローラーとの互換性を高めるための推奨事項が含まれます。