本文へスキップ
hdknr blog

列指向ストレージ

データを列ごとに格納するストレージ方式。分析クエリの I/O 効率と圧縮率を大幅向上

概要

行単位ではなく列単位でデータを格納。分析クエリで必要な列だけ読み込むため I/O が効率的で、同じ型のデータが連続するため圧縮率も向上。Parquet(ストレージ)、Arrow(メモリ)、DuckDB(エンジン)が列指向エコシステムを形成。

詳細

ファイルフォーマットの上に「テーブルフォーマット」が乗る

Parquet は「1 つのファイルの中身をどう並べるか」を決めるファイルフォーマット。S3 に Parquet を置くだけでも Athena や Spark から SQL を投げられるが、1 行の修正・過去の状態への巻き戻し・列の追加は難しい。

そこで「どのファイルの集まりがいまこのテーブルを構成しているか」を管理するテーブルフォーマットを上に重ねる。

どちらもデータ本体は列指向の Parquet で、競合ではなくレイヤーが違う。Delta Lake・Hudi・Paimon も同じく Parquet の上に乗るので、Apache XTable のようにメタデータだけを変換すればデータをコピーせずに別フォーマットとして読める。

列指向 DWH の課金と落とし穴

BigQuery や Redshift のようなクラウド DWH も列指向で、BigQuery のオンデマンド課金はクエリがスキャンしたデータ量で決まる。必要な列だけ読む設計がそのまま費用に効く一方、裏側の処理が全体を読むと請求に直結する。PKSHA の事例では BigQuery の CDC が変更の適用のたびにテーブル全体を読み(パーティションでも削減できない)、1 日約 330 USD に達した。反映の遅れの許容(max_staleness)を緩めて読み込み量を約 1/100 に下げている(BigQuery)。

Parquet の次を狙うフォーマット

関連ページ

ソース記事