Crawler Hints は、Cloudflare のキャッシュシグナルを使って、コンテンツが変わった可能性を検索エンジンに伝えます。推測ではなく、適切なタイミングでサイトをクロールしてもらえます。
検索エンジンや類似のサービスは、大量のボットネットワークでインターネットを巡回し、ユーザーの検索に最も関連するコンテンツを特定します。一方で、Web 上のコンテンツは常に変わります。検索エンジンのクローラーはインターネットを歩き続け、サイトの更新頻度を推測しながら再訪問する必要があります。
Crawler Hints を使うと、Cloudflare はインデックスに適したタイミングや、コンテンツが変わったタイミングをクローラーへ能動的に伝えられます。さらに Crawler Hints は IndexNow ↗ に対応しています。サイト上のコンテンツが作成、更新、削除されたときに、検索エンジンへ通知できます。Crawler Hints はキャッシュステータス MISS でコンテンツが更新された可能性を判断し、IndexNow のクローラーへ送ります。アセットのレスポンスの HTTP ステータスコードが 4xx より大きい場合、Crawler Hints はその内容を IndexNow ↗ へ報告しません。
Crawler Hints は、検索エンジンやボットを使うサービスが最新版のコンテンツを配信しやすくし、検索順位の改善につながる場合があります。
不要なクロールトラフィックをオリジンへ送らずに済むため、リソース消費を抑え、サイトのパフォーマンスも上がります。
| Free | Pro | Business | Enterprise | |
|---|---|---|---|---|
| 利用可否 | はい | はい | はい | はい |
-
Cloudflare ダッシュボードで、Configuration ページを開きます。
Configuration を開く ↗ -
Crawler Hints を有効にします。
有効にすると、Cloudflare はサイトのどの部分をいつクロールすべきかを検索エンジンへ伝え始めます。
有効にした Crawler Hints は、サイト全体に適用されるグローバル設定です。特定のページをインデックスさせないには、次のいずれかを使います。
- インデックスさせないページで、オリジンサーバーから
X-Robots-Tag: noindexヘッダーを返します。 - インデックスさせないページの HTML に
<meta name="robots" content="noindex, nofollow" />を含めます。 - オリジンサーバーではなく Cloudflare 側で
X-Robots-Tag: noindexヘッダーを付けるには、Response header Transform Rule を作成します。