有料コンテンツを見つける

graph LR
A[Cloudflare アカウント<br>を用意する] --> B[AI クローラーを<br>検証する]
B --> C[有料コンテンツを<br>見つける]:::highlight
C --> D[Stripe に<br>接続する]
D --> E[ページを<br>クロールする]
classDef highlight fill:#F6821F,color:white

Pay Per Crawl Discovery API を使うと、検証済みの AI クローラーが、有料コンテンツアクセスを提供するドメインを見つけられます。クロールリクエストの前に、Pay Per Crawl に参加しているサイトを能動的に特定できます。

Pay Per Crawl Discovery API を使う前に、次を完了してください。

• Cloudflare アカウントを用意する
• AI クローラーを検証する

Discovery API へのリクエストはすべて、HTTP メッセージ署名と Web Bot Auth ヘッダーで認証する必要があります。検証済みクローラーだけが、参加ドメインの一覧にアクセスできます。

GET https://crawlers-api.ai-audit.cfdata.org/charged_zones

• cursor（任意）: ページネーション用に、前回の呼び出しで返されたカーソル
• limit（任意）: 1 回のリクエストで返す件数

Web Bot Auth で生成した HTTP メッセージ署名ヘッダーを含めます。

Signature: <your-signature>
Signature-Input: <signature-metadata>
Signature-Agent: <agent-information>

curl -X GET "https://crawlers-api.ai-audit.cfdata.org/charged_zones?limit=50" \
  -H "Signature: <your-signature>" \
  -H "Signature-Input: <signature-metadata>" \
  -H "Signature-Agent: <agent-information>"

API は、Pay Per Crawl が有効で、お使いのクローラーからの支払いを受け付けているゾーン（ドメイン）の一覧を返します。

{
	"result": {
		"zones": [
			{
				"domain": "example.com"
			},
			{
				"domain": "news-site.com"
			}
		]
	},
	"success": true,
	"errors": [],
	"messages": []
}

• result.zones: Pay Per Crawl が有効なドメインを含むゾーンオブジェクトの配列
• result.zones[].domain: Pay Per Crawl コンテンツを提供するドメイン名
• success: リクエストが成功したかどうかを示す真偽値
• errors: エラーメッセージの配列（成功時は空）
• messages: 情報メッセージの配列

Discovery API が返すのは、サイト所有者がお使いのクローラーに対してコンテンツアクセス課金を設定したドメインだけです。レスポンスにドメインが無い場合、サイト所有者はそのクローラー向けの Pay Per Crawl 課金を有効にしていません。サイト所有者は WAF ルールでクローラーを許可またはブロックしたり、robots.txt に指示を書いたりもできます。これらを確認し、従ってください。

ディスカバリー結果はローカルにキャッシュし、定期的に更新してください。Pay Per Crawl への参加・離脱に追従できます。

• ページをクロールする