AI Gateway は、プロバイダーへのリクエスト処理に複数の戦略を使えます。AI とのやりとりを管理し、アプリケーションの応答性と信頼性を保つのに使います。
リクエストタイムアウトを使うと、プロバイダーの応答が遅すぎる場合にエラーを返すか、リトライを起動できます。
タイムアウトは次に役立ちます。
- ユーザーが応答を長く待ちすぎないようにし、体験を改善する
- 応答しないプロバイダーを検出し、エラーを先回りして扱う
タイムアウトはミリ秒で設定します。タイムアウトは、応答の最初の部分が戻ってきた時点を基準にします。ストリーミング応答など、指定した時間内に応答の最初の部分が戻れば、ゲートウェイは応答を待ち続けます。
プロバイダー固有のエンドポイントでは、cf-aig-request-timeout ヘッダーを追加してタイムアウト値を設定します。
# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
--header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
--header "Content-Type: application/json" \
--header "cf-aig-request-timeout: 5000" \
--data '{
"model": "openai/gpt-4.1-mini",
"messages": [{"role": "user", "content": "What is Cloudflare?"}]
}'AI Gateway は失敗したリクエストの自動リトライに対応し、最大 5 回まで再試行します。
この機能はアプリケーションの耐障害性を高め、一時的な問題から手動介入なしで復旧できます。
リクエストリトライでは、次の 3 つのプロパティを組み合わせて調整できます。
- 試行回数（最大 5 回）
- リトライまでの待ち時間（ミリ秒、最大 60 秒）
- バックオフ方式（constant、linear、または exponential）
最後のリトライでは、かかる時間に関係なく、ゲートウェイはリクエストが完了するまで待ちます。
プロバイダー固有のエンドポイントでは、次のヘッダー値を追加してリトライ設定を行います。
cf-aig-max-attempts(number)cf-aig-retry-delay(number)cf-aig-backoff("constant" | "linear" | "exponential)