本文へスキップ
hdknr blog

BigQuery

Google Cloud のサーバーレス DWH。オンデマンド課金はスキャン量で決まり、CDC の適用がテーブル全体を読む点がコストの落とし穴になる

概要

BigQuery は Google Cloud のサーバーレス DWH。インフラを管理せずに大規模な集計ができ、オンデマンド課金ではクエリがスキャンしたデータ量で料金が決まる。dbt・Lightdash と組み合わせた AI ネイティブなデータ分析基盤(PKSHA の Laplace)の DWH として使われた。

詳細

取り込みの経路

PKSHA の事例では、AWS の Aurora から 3 経路で取り込んだ。

経路用途
Datastream(CDC)Aurora の binlog を読み BigQuery に直接書く主経路。200 テーブル弱
AWS GlueCDC から外した幅の広い列を毎時転送
GCS に Avro を push → 外部テーブルスナップショット経路(AWS のコストデータ)。認証はキーレスの Workload Identity Federation

CDC のコストの落とし穴

BigQuery の CDC は変更を適用するたびにテーブル全体を読み、パーティションでは削減できない(ドキュメントに明記)。オンデマンド課金ではこれがそのまま請求に乗り、事例では 1 日約 330 USD、ピーク日は 43.5 TiB(95% が上位 5 テーブル)を読んだ。

スナップショットを選ばなかったのは、Aurora のスナップショットエクスポートがインスタンス全体のデータ量で課金されるため(数 MB のテーブルでも数 TB 分)。教訓は、パイプラインの単価だけでなくソース側の課金ルールまで見積もること。

権限と監査

AWS との対応

本番が AWS にある組織では、分析のためだけに GCP を持つと権限・ネットワーク・請求・監査が二重になる。AWS で置き換えるなら DWH は Amazon Redshift、課金はスキャン量から計算時間(RPU 時間)に変わる。DWH を持たない S3 + Iceberg + Athena 案もある(レイクハウス)。

関連ページ

ソース記事