AI Gateway には、AI アプリケーションの構築、デプロイ、管理に使う機能がそろっています。パフォーマンス最適化、セキュリティ、オブザーバビリティを組み合わせて、堅牢な AI インフラを作れます。
同一のリクエストを Cloudflare のグローバルキャッシュから直接返します。レイテンシを最大 90% 削減し、AI プロバイダーへの繰り返し API 呼び出しを避けてコストを大幅に下げられます。
主な利点:
- 繰り返しクエリの応答時間を短縮
- キャッシュヒットによる API コストの削減
- 設定可能な TTL とリクエスト単位のキャッシュ制御
- 対応するすべての AI プロバイダーで利用可能
リクエスト全体の累積利用額を追跡する、コストベースの予算を設定します。モデル、プロバイダー、またはユーザー、チーム、アプリケーションなどのカスタムメタデータで範囲を限定できます。
主な利点:
- プロバイダー単位またはモデル単位の予算
- カスタムメタデータ を使ったユーザー単位またはチーム単位の予算
- 設定可能な期間（日次、週次、月次）
- 予算超過時の自動リクエストブロック
柔軟なレート制限で、アプリケーションのスケールを制御し、不正利用を防ぎます。スライディングウィンドウまたは固定ウィンドウで、期間あたりのリクエスト数に上限を設定します。
主な利点:
- API クォータの枯渇を防止
- コストと利用パターンを制御
- ゲートウェイ単位またはリクエスト単位で設定可能
- 複数のレート制限方式に対応
コードを変えずに、高度なリクエストルーティングフローを作成します。ビジュアルインターフェースで、ユーザーセグメント、地域、コンテンツ分析、A/B テストの要件に基づいてリクエストを振り分けます。
主な利点:
- ビジュアルなフローベース設定
- ユーザーベースおよび地域ベースのルーティング
- A/B テストとトラフィックの按分
- リクエスト内容に基づくコンテキスト対応ルーティング
- 自動フォールバック付きの動的レート制限
リアルタイムのコンテンツモデレーションで、AI アプリケーションを安全にデプロイします。すべてのプロバイダーで、ユーザープロンプトとモデル応答の両方から有害コンテンツを自動検出してブロックします。
主な利点:
- すべての AI プロバイダーで一貫したモデレーション
- プロンプトと応答のリアルタイム評価
- 設定可能なコンテンツカテゴリとアクション
- コンプライアンスと監査の機能
- ユーザーの安全性と信頼性の向上
AI のやり取りで機密データが意図せず露出するのを防ぎます。プロンプトと応答をスキャンし、PII、財務データ、その他の機密情報を検出します。
主な利点:
- AI プロンプトと応答のリアルタイムスキャン
- PII、財務、医療、カスタムデータパターンの検出
- 設定可能なアクション: 機密コンテンツの Flag または Block
- Cloudflare のエンタープライズ DLP ソリューションとの連携
- GDPR、HIPAA、PCI DSS への対応支援
トークンベースの認証で AI Gateway を保護します。ゲートウェイへのアクセスを制御し、不正利用を防ぎます。
主な利点:
- トークンベースのアクセス制御
- ゲートウェイ単位で設定可能
- Cloudflare のセキュリティ基盤との連携
- アクセス試行の監査証跡
Cloudflare の暗号化基盤に、AI プロバイダーの API キーを安全に保存・管理します。アプリケーションからハードコードしたキーを取り除きつつ、制御は維持できます。
主な利点:
- 保存時および転送時の暗号化キー保管
- プロバイダー横断の集中キー管理
- コード変更なしでのキーローテーション
- 20 以上の AI プロバイダーに対応
- セキュリティとコンプライアンスの強化
包括的な分析で、AI アプリケーションの利用状況を把握します。すべてのプロバイダーで、リクエスト、トークン、コスト、エラー、パフォーマンスを追跡します。
主な利点:
- リアルタイムの利用メトリクスと傾向
- プロバイダー横断のコスト追跡と見積もり
- エラー監視とトラブルシューティング
- キャッシュヒット率とパフォーマンスの洞察
- カスタムダッシュボード向け GraphQL API
デバッグ、コンプライアンス、分析のために、すべての AI リクエストと応答の詳細ログを取得します。ログの保持期間とエクスポートを設定できます。
主な利点:
- リクエスト / 応答の完全なログ記録
- 設定可能なログ保持ポリシー
- Logpush によるエクスポート
- カスタムメタデータのサポート
- コンプライアンスと監査のサポート
カスタムメタデータでログと分析を補強します。ユーザー ID、チーム情報、任意のカスタムデータでリクエストにタグを付け、フィルタと分析を強化します。
主な利点:
- リクエスト追跡とフィルタの強化
- ユーザーおよびチーム単位の分析
- カスタムビジネスロジックとの連携
- デバッグとトラブルシューティングの改善
デフォルトの料金を、交渉済みレートやカスタムコストモデルで上書きします。リクエスト単位でカスタムコストを適用し、正確にコストを追跡します。
主な利点:
- 交渉済みレートによる正確なコスト追跡
- リクエスト単位のコストカスタマイズ
- 予算計画と予測の改善
- エンタープライズ料金契約への対応
| ユースケース | 推奨機能 |
|---|---|
| コスト最適化 | キャッシュ、利用額上限、レート制限、カスタムコスト |
| 高可用性 | 動的ルーティングによるフォールバック |
| セキュリティとコンプライアンス | Guardrails、DLP、認証、BYOK、ログ |
| パフォーマンス監視 | 分析、ログ、カスタムメタデータ |
| A/B テスト | 動的ルーティング、カスタムメタデータ、分析 |
- まず基本から: すぐ効果を得るために キャッシュ と 分析 を有効にします
- 信頼性を追加: 動的ルーティング でフォールバックとレート制限を設定します
- セキュリティを強化: Guardrails、DLP、認証 を導入します
すべての機能は連携して動き、対応する 20 以上の AI プロバイダーで使えます。アプリケーションでこれらの機能を使うには、AI Gateway から始めてください。