ストリーミングデータを取り込み、変換し、Apache Iceberg または Parquet として R2 へロードします。
Cloudflare Pipelines はイベントを取り込み、SQL で変換し、Iceberg テーブル または Parquet と JSON ファイルとして R2 へ配信します。
サーバーログ、モバイルアプリケーションのイベント、IoT テレメトリ、クリックストリームデータなどを処理する場合でも、Pipelines は HTTP エンドポイントまたは Worker バインディングによる耐久性のある取り込み、SQL ベースの変換、R2 への exactly-once 配信を提供します。ストリーミング基盤を自分で管理せずに、分析向けのデータウェアハウスとレイクハウスを構築できます。
はじめにガイド に沿って進めるか、次の Wrangler コマンドを実行して、最初のパイプラインを作成します。
npx wrangler pipelines setupHTTP または Workers からデータを取り込み、SQL 変換を適用し、Iceberg テーブルまたは Parquet ファイルとして R2 へ配信する、最初のパイプラインを構築します。
HTTP エンドポイントまたは Worker バインディングでイベントを受け取る、耐久性がありバッファされたキューです。
SQL 変換でストリームをシンクに接続し、取り込み時にデータを検証、フィルタ、変換、付加します。
データの送信先を設定します。Apache Iceberg テーブルを R2 Data Catalog へ書き込むか、Parquet と JSON ファイルとしてエクスポートします。
1 つのストリームを複数の Iceberg テーブルへ振り分ける方法など、エンドツーエンドの例を確認します。
Cloudflare R2 Object Storage を使うと、一般的なクラウドストレージに付きものの高額なエグレス帯域料金なしで、大量の非構造化データを保存できます。
Cloudflare Workers を使うと、サーバーレスアプリケーションを構築し、世界中へ即座にデプロイして、高いパフォーマンス、信頼性、スケールを実現できます。
制限
Pipelines の制限を確認します。
@CloudflareDev
製品発表や Cloudflare Workers の最新情報は、Twitter の @CloudflareDev をフォローしてください。
Developer Discord
Discord の Workers コミュニティで質問したり、作っているものを共有したり、ほかの開発者とプラットフォームについて議論したりできます。