いいえ。Pay per crawl では、クローラーごとに異なるアクション(Block、Charge、Allow)を設定できます。ただし、「Charge」に設定したすべてのクローラーに適用できる料金は 1 つだけです。
はい。Pay per crawl で保護されたウェブサイト上のコンテンツに AI クローラーがアクセスするたびに、サイトオーナーが設定した料金が発生します。クローラー側で支出を追跡し、設定したい利用上限を強制する仕組みを実装してください。
常に無料でクロールできるパスがあります。対象は /robots.txt、/sitemap.xml、/security.txt、/.well-known/security.txt、/crawlers.json です。
いいえ。課金イベントは、成功した HTTP レスポンスコードのときだけ発生します。crawler-exact-price または crawler-max-price ヘッダーを送っていても、エラーレスポンスは課金されません。
Cloudflare にオンボードし、Web Bot Auth で識別した AI クローラーに紐づく、標準のユーザーエージェントを使います。