概要
行単位ではなく列単位でデータを格納。分析クエリで必要な列だけ読み込むため I/O が効率的で、同じ型のデータが連続するため圧縮率も向上。Parquet(ストレージ)、Arrow(メモリ)、DuckDB(エンジン)が列指向エコシステムを形成。
詳細
ファイルフォーマットの上に「テーブルフォーマット」が乗る
Parquet は「1 つのファイルの中身をどう並べるか」を決めるファイルフォーマット。S3 に Parquet を置くだけでも Athena や Spark から SQL を投げられるが、1 行の修正・過去の状態への巻き戻し・列の追加は難しい。
そこで「どのファイルの集まりがいまこのテーブルを構成しているか」を管理するテーブルフォーマットを上に重ねる。
- Apache Iceberg — メタデータを S3 上のファイル階層(メタデータファイル → マニフェストリスト → マニフェスト)とカタログで持つ。マニフェストの列ごとの最小値・最大値を使い、ファイルを開かずに読み飛ばせる
- DuckLake — 同じく Parquet をデータに使い、メタデータは SQL データベースに置く
どちらもデータ本体は列指向の Parquet で、競合ではなくレイヤーが違う。Delta Lake・Hudi・Paimon も同じく Parquet の上に乗るので、Apache XTable のようにメタデータだけを変換すればデータをコピーせずに別フォーマットとして読める。
列指向 DWH の課金と落とし穴
BigQuery や Redshift のようなクラウド DWH も列指向で、BigQuery のオンデマンド課金はクエリがスキャンしたデータ量で決まる。必要な列だけ読む設計がそのまま費用に効く一方、裏側の処理が全体を読むと請求に直結する。PKSHA の事例では BigQuery の CDC が変更の適用のたびにテーブル全体を読み(パーティションでも削減できない)、1 日約 330 USD に達した。反映の遅れの許容(max_staleness)を緩めて読み込み量を約 1/100 に下げている(BigQuery)。
Parquet の次を狙うフォーマット
- Vortex — 圧縮した Apache Arrow の配列を扱う拡張可能な列指向ファイルフォーマット。LF AI & Data Foundation でインキュベーション中
- Lance — ファイル・テーブル・カタログを兼ねる AI 向けフォーマット。Parquet が苦手なランダムアクセスを速くし、ベクトル検索や全文検索の索引も持てる
関連ページ
- DuckDB — 列指向 OLAP エンジン
- Apache Iceberg — Parquet の上に乗るオープンテーブルフォーマット
- DuckLake — メタデータを SQL データベースに置くレイクハウスフォーマット
- レイクハウス — フォーマット・カタログ・エンジンを組み合わせる全体像
- BigQuery / Amazon Redshift — 列指向のクラウド DWH
ソース記事
- DuckDB と列指向ストレージ — 2026-03
- Apache Iceberg 入門:データレイクを「テーブル」にする仕組みと DuckDB との関係 — 2026-10-12
- DuckLake 入門:メタデータを SQL データベースに置くレイクハウスフォーマットと Iceberg との違い — 2026-10-13
- Iceberg と DuckLake の先へ:2026 年に注目したいレイクハウスの技術とプロダクト — 2026-10-13
- BigQuery × dbt × Lightdash × MCP で作る AI ネイティブなデータ分析基盤:PKSHA の事例に学ぶ設計 — 2026-11-15