Cloudflare Pipelines はイベントを取り込み、SQL で変換し、Iceberg テーブル、または Parquet / JSON ファイルとして R2 へ配信します。Logpush は Pipelines をネイティブの送信先として書き込めます。
生ログを JSON のままストレージバケットへ送る代わりに、Logpush は Pipeline へルーティングできます。そこでフィルタ、付加、変換を行い、R2 Data Catalog が管理する Parquet または Apache Iceberg テーブルにできます。データはよりコンパクトになり、R2 SQL でのクエリなど分析に適します。
Pipelines 送信先が対応する Logpush データセットは次のとおりです。
| スコープ | データセット |
|---|---|
| ゾーン | http_requests、firewall_events、dns_logs |
| アカウント | workers_trace_events |
各データセットで使えるフィールドの一覧は Datasets を参照してください。
- Cloudflare ダッシュボードで、アカウントまたはドメイン（ゾーン）の Logpush ページを開きます。
- アカウント: Logpush を開く ↗
- ドメイン（ゾーン）: Logpush を開く ↗
- Create a Logpush job を選択します。
- 送信先として Pipelines を選択します。
- Dataset の手順で、ドロップダウンからデータセットを選びます。
- Pipeline 名は自動生成されますが、編集できます。
- Destination の手順で、送信先を設定します。
- 既存の R2 バケットを選ぶか、新しい名前を入力してセットアップ中に作成します。
- 保存形式を選びます。Parquet、JSON、または R2 Data Catalog（Apache Iceberg） です。
- R2 Data Catalog を選んだ場合は、カタログの名前空間とテーブル名を入力します。
- 任意で Delivery settings を開き、roll size、roll interval、その他の送信先固有の設定を行います。これらの設定の詳細は Pipelines Sinks のドキュメント を参照してください。
- Transform の手順で、Sink へ書き込む前のログ処理方法を選びます。
- Simple はすべてのフィールドを変更せず転送します（デフォルト）。
- Custom SQL は SQL エディターを開き、データのフィルタ、変換、付加ができます。SQL 関数の一覧は Pipelines SQL reference を参照してください。
- Review の手順で設定を確認し、Create を選択します。必要なリソース（Stream、Sink、R2 認証情報または Data Catalog トークン、Pipeline、Logpush ジョブ）が自動で作成されます。