AI Crawl Control と Cloudflare WAF

AI Crawl Control は、Cloudflare Web Application Firewall (WAF) など、ほかの Cloudflare 製品と併用できます。WAF は受信した Web および API リクエストを検査し、ルールに基づいて不要なトラフィックをフィルタリングします。WAF カスタムルール では、robots.txt の強制など、特定のアクションを実行できます。

• AI Crawl Control は WAF カスタムルールを使い、サイト所有者がブロックすると決めた AI クローラーをブロックします。
• AI Crawl Control の Pay Per Crawl は、WAF のあとに実行されます。

graph LR
A[トラフィック] --> B[WAF カスタムルール<br>AI Crawl Control: クローラーのブロック]
B --> C[Cloudflare<br>Bot Solutions]
C --> D[AI Crawl Control:<br>Pay Per Crawl]
classDef highlight fill:#F6821F,color:white

そのため、AI クローラーの管理に AI Crawl Control を使う予定なら、既存の WAF カスタムルールが AI クローラーに影響しないよう変更することを検討してください。AI クローラーを AI Crawl Control だけで管理でき、運用がシンプルになります。

次の例を考えます。

次の両方を有効にしている場合があります。

• 特定の国からのトラフィックをブロックする WAF カスタムルール
• コンテンツへのアクセス時に AI クローラーへ課金する、AI Crawl Control の Pay Per Crawl

WAF カスタムルールは Pay Per Crawl より先に適用されます。ブロック対象国からのトラフィック（AI クローラーを含む）は、Pay Per Crawl に必要な ヘッダー を付けていても、引き続きブロックされます。

次の両方を有効にしている場合があります。

• 検索エンジンボットを許可する WAF カスタムルール
• 検索エンジンボットを含むすべての AI クローラーに、コンテンツへのアクセス時に課金する AI Crawl Control の Pay Per Crawl

カスタムルールは Pay Per Crawl より先に適用されるため、次のようになります。

• サイトにアクセスできるのは検索エンジンボットだけです（カスタムルールで強制）。
• その検索エンジンボットは、コンテンツへのアクセスに対して課金されます（AI Crawl Control の Pay Per Crawl で強制）。

AI Crawl Control で特定の AI クローラーを Allow にしても、まだブロックされる場合は、上流の WAF カスタムルールがブロックしていないか確認します。AI Crawl Control のルールにはブロック対象のボットだけが含まれるため、許可したボットでも、AI Crawl Control ルールより前に実行されるほかのセキュリティルールの影響を受けることがあります。

こうした上流ルールはトラフィックに影響しますが、AI Crawl Control の分析には表示されないことがあります。WAF カスタムルールを見直し、許可したい AI クローラーをブロックしているルールを特定して変更します。

AI Crawl Control で特定の AI クローラーを Block にしても、コンテンツにアクセスできてしまう場合は、上流ルールが AI Crawl Control ルールをバイパスしていないか確認します。AI Crawl Control のルールは既存の WAF カスタムルールの末尾に追加されるため、次の種類のルールがボットのブロックをすり抜けさせることがあります。

• WAF カスタムルールをバイパスする Skip ルール
• リクエストパスを変える Redirect ルール
• リクエストを変更する Transform ルール

ブロック対象のボットを確実に止めるには、AI Crawl Control のルールを WAF カスタムルールの先頭に移し、ほかのルールより先に実行されるようにします。

次の両方を有効にしている場合があります。

• すべてのボットをブロックする WAF カスタムルール。
• 特定の AI クローラーを許可する AI Crawl Control の選択。

この場合、AI クローラーの扱いが異なる 2 つのカスタムルールが存在します。次の手順で解消します。

多くの場合、クローラーは AI Crawl Control で直接管理することを推奨します。一方、基盤の WAF ルールは、ダッシュボードではカバーできないシナリオ向けに追加のカスタマイズもできます。

AI Crawl Control のルール名は AI Crawl Control です。Security > Security rules にあります。Custom rules でフィルターすると見つかります。

よくある追加は次のとおりです。

• パス単位の例外。ブロックしたクローラーに特定セクションだけアクセスを許可する場合、特定パスを除外する AND 句を追加します
• AI Crawl Control の一覧にないクローラー向けの、追加の user agent や検出 ID
• ブロック対象を特定のホスト名やほかのリクエスト属性に限定する、追加の式句

あとから AI Crawl Control でクローラーのアクションを更新しても、追加した内容は保持されます。AI Crawl Control が解析できない形に式を変更した場合、Crawlers ページに警告バナーが表示されます。バナーの View rule in WAF を選択し、ルールを確認または修正します。