AI Crawl Control の分析 で、どのクローラーがサイトにアクセスしているかを確認します。そのうえで Worker テンプレートをデプロイし、トラフィックの扱いをカスタマイズできます。
x402-proxy テンプレートは、x402 プロトコル ↗ を使った支払いゲート付きアクセスを実装します。x402 は HTTP 402(Payment Required)を中心にしたオープンな支払い標準です。クローラーアクセスの収益化、特定ルートのペイウォール、人間は無料のままボットへ課金する、といった用途に使えます。
セットアップ手順と Bot Management 連携の例は、GitHub 上のテンプレート ↗ を参照してください。
- ボットリファレンス — 一般的なクローラーの Detection ID とユーザーエージェント
- Cloudflare Workers — サーバーレスアプリケーションの構築とデプロイ
- Workers テンプレート ↗ — GitHub 上のその他のテンプレート
- Pay Per Crawl — クローラーアクセスを収益化するための Cloudflare ネイティブ連携
- x402 決済 — リソースのゲート、MCP ツールへの課金、コーディングエージェントへの決済追加