AI 企業は、言語モデルの学習、検索回答の生成、その他の目的で、クローラーを使ってウェブサイトのコンテンツを収集します。ドメインのルートにある robots.txt ファイルは、これらのクローラーがどのコンテンツにアクセスすべきか、すべきでないかを伝えます。管理対象の robots.txt 設定をオンにすると、Cloudflare が robots.txt ファイルを生成・維持し、既知の AI クローラーにコンテンツへ近づかないよう指示します。
robots.txt への準拠は任意です。このファイルは希望を示すものであり、技術的にクローラーのアクセスを防ぐものではありません。一部のクローラー運用者は robots.txt のディレクティブ（Disallow: / のような指示）を無視し、コンテンツをクロールすることがあります。
Cloudflare は、オリジンサーバーにすでに robots.txt ファイルがあるかを検出し、既存ファイルとマージするか、新規作成するかを切り替えます。
ウェブサイトにすでに robots.txt ファイルがある場合（HTTP 200 応答で確認）、Cloudflare は管理対象の robots.txt を既存の robots.txt の前に追加し、1 つの応答にまとめます。
たとえば、この機能が無効なとき、crawlstop.com の robots.txt の内容は次のようになります。
User-agent: *
Disallow: /lp
Disallow: /feedback
Disallow: /langtest
Sitemap: https://www.crawlstop.com/sitemap.xml管理対象の robots.txt を有効にすると、Cloudflare は元の内容の前に管理対象コンテンツを追加します。結果は https://www.crawlstop.com/robots.txt ↗ で確認できます。
# As a condition of accessing this website, you agree to abide by the
# following content signals:
# (a) If a content-signal = yes, you may collect content for the
# corresponding use.
# (b) If a content-signal = no, you may not collect content for the
# corresponding use.
# (c) If the website operator does not include a content signal for a
# corresponding use, the website operator neither grants nor restricts
# permission via content signal with respect to the corresponding use.
# The content signals and their meanings are:
# search: building a search index and providing search results (e.g., returning
# hyperlinks and short excerpts from your website's contents). Search
# does not include providing AI-generated search summaries.
# ai-input: inputting content into one or more AI models (e.g., retrieval
# augmented generation, grounding, or other real-time taking of
# content for generative AI search answers).
# ai-train: training or fine-tuning AI models.
# ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF
# RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT
# AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET.
# BEGIN Cloudflare Managed content
User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /
User-agent: Amazonbot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
# END Cloudflare Managed Content
User-agent: *
Disallow: /lp
Disallow: /feedback
Disallow: /langtest
Sitemap: https://www.crawlstop.com/sitemap.xmlウェブサイトに robots.txt ファイルがない場合、Cloudflare は既知の AI クローラー向けの管理対象 Disallow ルールを含む新しいファイルを作成し、代わりに配信します。
ドメインに robots.txt ファイルを実装するには、次の手順を実行します。
-
Cloudflare ダッシュボードで、Security Settings ページを開きます。
Settings を開く ↗ -
Bot traffic で絞り込みます。
-
Set your preference to block training in robots.txt を開きます。
-
Set your preference to block training in robots.txt をオンにします。
Content Signals は、robots.txt ファイル内の機械可読なディレクティブの集まりで、クローラーがコンテンツをどう使ってよいかを分類します。3 つのカテゴリは search（検索インデックスの構築）、ai-input（リアルタイム回答のために AI モデルへコンテンツを渡すこと）、ai-train（AI モデルの学習またはファインチューニング）です。
Free プランのドメインで、独自の robots.txt ファイルがなく、管理対象の robots.txt 機能も使っていない場合、クローラーがドメインの robots.txt ファイルをリクエストすると Content Signals Policy が表示されます。
Content Signals Policy はこれらのカテゴリを定義しますが、コンテンツについての具体的な希望は示しません。希望を設定する（例: ai-train=no）には、管理対象の robots.txt 機能をオンにします。
# As a condition of accessing this website, you agree to abide by the
# following content signals:
# (a) If a content-signal = yes, you may collect content for the
# corresponding use.
# (b) If a content-signal = no, you may not collect content for the
# corresponding use.
# (c) If the website operator does not include a content signal for a
# corresponding use, the website operator neither grants nor restricts
# permission via content signal with respect to the corresponding use.
# The content signals and their meanings are:
# search: building a search index and providing search results (e.g., returning
# hyperlinks and short excerpts from your website's contents). Search
# does not include providing AI-generated search summaries.
# ai-input: inputting content into one or more AI models (e.g., retrieval
# augmented generation, grounding, or other real-time taking of
# content for generative AI search answers).
# ai-train: training or fine-tuning AI models.
# ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF
# RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT
# AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET.robots.txt setting をオンにすると、Cloudflare の Content Signals Policy がデフォルトで robots.txt ファイルに含まれます。
robots.txt ファイルにポリシーを表示したくない場合は、ゾーンの概要にある Control AI Crawlers の Display Content Signals Policy のチェックを外します。
または、Security Settings を使えます。
Cloudflare は content-use を試験中です。これは Content Signals ↗ の任意の拡張で、robots.txt に置きます。既存の search、ai-input、ai-train シグナルに加え、クローラーがコンテンツへアクセスしたあと、何を保持・再利用してよいかを示す 4 つ目のフィールドを追加します。値は許可の狭い順に、次の 3 つです。
| 値 | 意味 |
|---|---|
use=immediate |
操作はできますが、保存も再利用もしません。 |
use=reference |
インデックス作成、抜粋、リンクバックができます。 |
use=full |
要約と複製ができます。 |
管理対象の robots.txt 設定をオンにしているお客様には、既存のデフォルト search=yes,ai-train=no に合わせて、Cloudflare が管理対象コンテンツに use=reference を追加します。
User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /AI クローラー向けの管理対象 robots.txt は、すべてのプランで利用できます。