Evaluations のセットアップ

このガイドでは、AI Gateway で評価（Evaluation）を設定する手順を説明します。操作は Cloudflare ダッシュボード ↗ で行います。

1. データセットを選択または作成する

データセットは、評価に使える分析用ログの集まりです。Logs タブでフィルターを適用して作成できます。データセットは、設定したフィルターに基づいて自動で更新されます。

Logs タブの Manage datasets から、データセットを管理できます。

フィルターカテゴリ	選択肢	説明
Status	error, status	エラータイプまたはステータスで絞り込みます。
Cache	cached, not cached	キャッシュ済みかどうかで絞り込みます。
Provider	特定のプロバイダー	選択した AI プロバイダーで絞り込みます。
AI Models	特定のモデル	選択した AI モデルで絞り込みます。
Cost	less than, greater than	コストのしきい値で絞り込みます。
Request type	Workers AI Binding, WebSockets	リクエストの種類で絞り込みます。
Tokens	Total tokens, Tokens In, Tokens Out	トークン数（未満または超過）で絞り込みます。
Duration	less than, greater than	リクエストの所要時間で絞り込みます。
Feedback	equals, does not equal（thumbs up、thumbs down、no feedback）	フィードバックの種類で絞り込みます。
Metadata Key	equals, does not equal	特定のメタデータキーで絞り込みます。
Metadata Value	equals, does not equal	特定のメタデータ値で絞り込みます。
Log ID	equals, does not equal	特定の Log ID で絞り込みます。
Event ID	equals, does not equal	特定の Event ID で絞り込みます。

データセットを作成したら、評価パラメータを選びます。

Cost: データセット内の推論リクエストの平均コストを計算します（コストデータがあるリクエストのみ）。
Speed: データセット内の推論リクエストの平均所要時間を計算します。
Performance:
- Human feedback: 人によるフィードバックに基づいて性能を測ります。Logs タブで付与した thumbs up の割合で算出します。

評価結果は Evaluations タブに表示されます。評価のステータス（進行中、完了、エラーなど）が分かります。選択した評価指標のメトリクスが表示されます。欠損フィールドがあるログは除外されます。各メトリクスの算出に使ったログ数も確認できます。

データセットはフィルターに基づいて自動更新されますが、評価は自動更新されません。新しいログを評価するには、新しい評価を作成します。

この結果を、アプリケーションの優先事項に合わせて最適化に使えます。結果に応じて、次のような対応を選べます。