すべての AI Search インスタンスは、Cloudflare の AI Gateway に接続されます。AI Search が埋め込み、クエリの書き換え、リランキング、応答生成のために行うモデル呼び出しは、このゲートウェイを通ります。接続先のゲートウェイを設定すると、それらのモデル呼び出しを観測し、制御できます。
インスタンスが使うゲートウェイの選択や変更は、モデル を参照してください。
AI Gateway は、通過するモデルリクエストを記録します。インスタンスの動きを確認できます。
- Analytics: リクエスト数、使用トークン、コスト、レイテンシ、エラーを、モデル呼び出し全体で追跡します。
- Logs: 個別のリクエストとレスポンスを確認します。実効の システムプロンプト、書き換えたクエリ、生成した回答も含みます。
デフォルトでは、AI Search は Workers AI のモデルを使います。OpenAI や Anthropic など他プロバイダーのモデルを使うには、プロバイダーキーを AI Gateway に追加し、AI Search でそのモデルを選びます。
- Bring Your Own Keys でプロバイダーキーを追加します。
- ゲートウェイを接続し、AI Search の設定でモデルを選びます。詳細は モデル を参照してください。
AI Gateway の Guardrails を使い、インスタンスを流れるプロンプトとレスポンスを検査し、安全でない、または不適切なコンテンツをブロックします。個人情報や財務情報などの機微情報を検出して扱うには、Data Loss Prevention (DLP) を使います。
リクエストのリトライとモデルフォールバック を設定すると、プロバイダーがエラーを返したときに、モデル呼び出しを自動で再試行するか、別のモデルへフォールバックできます。
一部の AI Gateway 機能は、ゲートウェイを通るすべてのリクエストに作用します。AI Search インスタンスは内部のモデル呼び出しでこのゲートウェイを共有するため、一部の機能はインデックス作成とクエリを妨げることがあります。
AI Search インスタンスに接続したゲートウェイでは、AI Gateway のキャッシュ を有効にしないでください。特に埋め込みリクエストで重要です。AI Search は、ベクトルインデックスの構築と各クエリの照合に新しい埋め込みを使うため、キャッシュ済みの埋め込みを返すと誤ったベクトルを保存・返却し、検索精度が静かに下がることがあります。検索結果をキャッシュするには、代わりに AI Search 自身の 類似度キャッシュ を使います。
同様に、このゲートウェイには レート制限 を設定しないでください。レート制限は、インデックス作成中の多数の埋め込みリクエストを含む、AI Search 自身のモデル呼び出しにも適用され、インデックス作成とクエリを中断することがあります。