本文へスキップ
hdknr blog

レイクハウス

データをオープンな形式でオブジェクトストレージに 1 か所だけ置き、テーブルフォーマット・カタログ・計算エンジンを差し替え可能な層として組み合わせるデータ基盤のアーキテクチャ。DWH 一体型との使い分けと、AI エージェント向けの守りまで

概要

レイクハウスは、S3 などのオブジェクトストレージにオープンな形式(Parquet +テーブルフォーマット)でデータを 1 か所だけ置き、その上のカタログと計算エンジンを用途ごとに選ぶデータ基盤の作り方。従来の DWH が「ストレージ・テーブル管理・計算」を 1 製品に閉じていたのに対し、各層を差し替え可能な部品に分ける。

個々の製品はまだ入れ替わりが激しいが、2026 年時点の大勢は「Apache Iceberg を共通の土台にし、用途に応じて周辺技術を足す」方向にある。

詳細

層の構成

層役割例
ストレージデータを安く保持S3、GCS、Azure Data Lake Storage
ファイルフォーマット1 ファイルの中身の並べ方Parquet、ORC、Avro、Vortex
テーブルフォーマットどのファイル群がテーブルを構成するかIceberg、Delta Lake、Hudi、Paimon、DuckLake
カタログテーブル名 → 最新メタデータの位置、権限Glue Data Catalog / S3 Tables、Polaris、Unity Catalog、Gravitino、Lakekeeper
計算エンジンクエリ実行Spark、Flink、Trino、Athena、Redshift、Snowflake、DuckDB

ファイルフォーマットの土台は列指向ストレージ。

テーブルフォーマットの得意分野

フォーマット推進役得意なこと
Apache IcebergApache多数のエンジンでの共有。対応製品が最多
Delta LakeDatabricks(Linux Foundation)Databricks / Spark との統合
Apache HudiApacheupsert・削除とインデックス(CDC 向き)
Apache PaimonApache(Flink 発)LSM ツリーでストリーミングの継続更新
DuckLakeDuckDB チームメタデータを SQL DB に置く軽量構成

データファイルは共通の Parquet なので、メタデータだけ変換すればコピーなしで別フォーマットとして読める。Apache XTable は Hudi・Iceberg・Delta 間を双方向に変換し(0.4.0 で Paimon と素の Parquet を変換元に追加、まだインキュベーション段階)、Delta UniForm は Delta から Iceberg などへの一方向。変換先では読み取り用と考えるのが安全。

カタログは「Iceberg REST」が共通言語に

カタログは Iceberg REST カタログの API を実装する方向に収れんしつつあり、エンジンは実装を問わず接続できる。Apache Polaris(Snowflake・Dremio 発、2026 年 2 月にトップレベル昇格)、Unity Catalog OSS 版、複数種類のデータソースを束ねる Apache Gravitino、OpenFGA で細かな権限管理ができる Rust 製の Lakekeeper などがある。カタログは誰がどのテーブルを読めるかというガバナンスの中心にもなりつつあり、フォーマットと同じくらい重要な選択になる。AWS で完結するなら Glue Data Catalog / S3 Tables、マルチクラウド・マルチエンジンなら OSS の REST カタログが候補。

鮮度と AI 向けの拡張

Iceberg 自体も v3 で削除ベクター、行の系譜(row lineage)、Variant 型、列の既定値が加わった。

DWH 一体型(Redshift)との使い分け

Redshift と Iceberg は同じ土俵にない。Redshift は 3 層を 1 製品に持つ DWH、Iceberg は形式にすぎない。しかも Redshift は 2025 年 11 月から Iceberg に書き込め(2026 年 8 月に v3 対応)、両者は組み合わせられる。比べるべきはデータの置き場所。

状況向いている構成
少人数で 1 台に収まる規模DuckDB + DuckLake(または S3 の Iceberg を DuckDB で読む)
複数チームが別々のエンジンで同じデータを使うS3 + Iceberg
多数の人が BI で同じ集計を同時に見るRedshift の内部ストレージ(RMS)
両方ある(大半の組織)共有データは Iceberg、頻繁に読む集計だけ RMS

「データを広く開示する」が多くの人に同じ集計を見せる意味なら DWH、多くのチームやシステムに元データを使わせる意味ならレイクハウスが向く。料金構造も違い、Redshift Serverless は RPU 時間(アイドル時は無料)、Athena はスキャン量、DuckDB はエンジン料なしで、どれが安いかは頻度とデータ量で逆転する。

Redshift から Iceberg への書き込みは 1 文 1 トランザクション、競合時は自動再試行なし、ストアドプロシージャから書けないなどの制約がある。複数テーブルをまとめて更新する ETL は RMS に残すのが無難。

AI エージェントの土台として

レイクハウスは AI エージェント向けのデータ基盤の土台に向く。エージェントが問いに応じてエンジンを選べ、製品を入れ替えてもデータは残り、スナップショットで書き込みを取り消せるから。ただしそれだけでは足りず、MCP サーバーからテーブルまでの各層に 4 つの守りを置く。

  1. 意味 — セマンティックレイヤー(dbt Semantic Layer など)で指標を定義し、LLM には指標名と切り口だけを選ばせる。詳細は AI-ready データ設計
  2. 費用 — Athena はワークグループごとのクエリ単位スキャン上限(超過でキャンセル)、Redshift Serverless は最大 RPU と期間ごとの RPU 時間上限。エージェント専用のワークグループを分ける
  3. 権限 — カタログでエージェント用ロールの読めるテーブルを絞り、既定は読み取り専用。MCP サーバー側の制限と二重に守る
  4. 取り消し — Iceberg のブランチで WAP(Write-Audit-Publish)を回し、検証を通ったものだけ main に fast-forward。失敗はスナップショットへロールバック

DWH 案と S3(Iceberg)+ Athena 案

AWS だけで AI ネイティブなデータ分析基盤を作る構成案では、Aurora zero-ETL 連携で取り込みを自作せずに済む Amazon Redshift 案を推し、DWH を持たない S3(Iceberg)+ Athena 案を別案に置いた。後者は誰も使わないときの費用がほぼ S3 の保管料だけだが、AWS DMS で出した CDC を Iceberg にマージする処理を自作・運用することになり、小さなファイルが増えるとスキャン量と処理時間が増える。少人数で早く立ち上げたい・鮮度が要るなら Redshift、更新もクエリも少ないなら Athena が候補(AI ネイティブなデータ分析基盤)。

段階的に進めるのが現実的で、試行(DuckDB + DuckLake)→ チーム利用(S3 + Iceberg、費用と権限)→ 業務組み込み(セマンティックレイヤーと Redshift、ブランチでの検証)と、前の段階の守りを外さずに積み増す。

関連ページ

ソース記事