数回のクリックで Kafka Topic と関連するスキーマを Apache Iceberg® (一般提供) や Delta Lake (オープンプレビュー) などのオープンテーブル形式で表現し、任意のデータウェアハウス、データレイク、または分析エンジンにフィードできます。
Kafka Topic を Iceberg テーブルまたは Delta テーブルとして表現することで、ブロンズテーブルとシルバーテーブルの形成プロセスを簡素化し、エンジニアリングの労力と計算コストを削減します。
最新の Iceberg または Delta テーブルを一度保存し、互換性のある独自のストレージで何度も再利用することで、柔軟性、コスト削減、セキュリティを確保します。
Tim Berglund がライトボードに戻り、過去40年間の分析で目撃した中で最もエキサイティングな機能 (誇張ではありません) を紹介します。具体的には、ETL を完全にスキップして、Apache Kafka® の Topic データをデータレイク内のテーブルとして利用できるようにする Confluent Cloud の新機能、Tableflow です。
このビデオでは、Tim が Tableflow の仕組みと、それがなぜ重要なのかを説明します。データのコピーや変換手順は不要で、Apache Iceberg™ や Delta Lake などのネイティブなオープンテーブル形式が Kafka データの上に直接配置されます。
コマーシャルパートナーとエコシステムパートナーを活用してブロンズテーブルやシルバーテーブルをゴールドスタンダードテーブルに変換し、AI と分析の幅広いユースケースに対応
ファイルの圧縮を通じて読み取りパフォーマンスを継続的に最適化し、小さなファイルをより大きく管理しやすいファイルに統合することで、効率的なデータの保存と取得を維持します。
「企業が AI 投資の収益を最大化するためには、データ、AI、分析、ガバナンスのすべてを一元化する必要があります。当社がデータインテリジェンス構築を支援する組織が増える中、信頼できるエンタープライズデータが最も重要であり、これは運用データと分析データの間のサイロを排除することによってのみ達成できます。Tableflow が Delta Lake と Unity Catalog をオープンテーブルおよびガバナンスソリューションとして採用したことを嬉しく思うとともに、お客様に長期的な価値を提供するために協業することを楽しみにしています。」
リアルタイムで信頼できるデータへのアクセスは AI 施策を迅速に拡大するための重要な要素であり、分析プラットフォームにとって不可欠な要件です。Tableflow を使用すると、ユーザーは数回のクリックで、Kafka Topic と関連するスキーマを Apache Iceberg™ テーブルとしてシームレスに表現し、今日のビジネスに必要な AI を活用した洞察を提供できます。Apache Polaris™ (インキュベーション中) のマネージドサービスである Snowflake Open Catalog とのネイティブ統合により、Confluent の共通顧客は、AI、分析、コラボレーションのためのリアルタイムの運用データにこれまで以上に簡単に、より統一されたガバナンスでアクセスできるようになります。オープンスタンダードを活用したソリューションで、お客様が運用と分析の間のギャップを埋めるお手伝いができることを嬉しく思います。
「当社がバス会社に愛されているのは、販売、運用、配車を非常にシンプルにしているからです。しかし、これはリアルタイムのデータ分析によって実現されています。Tableflow は、分析エンジンが Kafka の運用データを Apache Iceberg テーブルとしてリアルタイムでシームレスに利用するための有望な方法を提供し、追加の前処理の必要性を排除します。Tableflow をデータウェアハウスに統合することで、複雑さとストレージコストを削減しながら、未加工のクリーンでないデータが取り込まれるのを防ぐことができています。このアプローチは、ワークフローを簡素化し、洞察の実現までの時間を短縮しつつ、より効率的で費用対効果の高いデータアーキテクチャを確保します。」
「現在の AI の時代では、リアルタイムで信頼できるデータを運用システムと分析システムの両方で確実に統合することがこれまで以上に重要です。企業は、大規模な前処理や手動の介入なしに、レイクハウス、AI モデル、分析エンジンにリアルタイムのストリーミングデータを提供するソリューションを探すべきです。プッシュボタン方式でブロンズ標準テーブルとシルバー標準テーブルの作成を自動化するサービスにより、リアルタイムの意思決定を迅速に行えるようになり、AI に関する取り組みを大幅に加速し、データの信頼性、整合性、そして信用を高めることができます。」