概要
AI ネイティブなデータ分析基盤とは、AI 用の特別な仕組みを足した基盤ではなく、指標の定義・権限・PII の扱いを、人間にも AI にも同じ規則で効くように整理した基盤のこと。代表例が PKSHA Technology の社内基盤「Laplace」(BigQuery・dbt・Lightdash・自前 MCP サーバー)で、SRE がほぼ 1 人・コードはほぼ全部 Claude Code に書かせて約 1 か月で立ち上げた。核の設計は DWH に依存しないので、AWS だけでも再現できる。
詳細
出発点:セルフサービスとガバナンスを同時に解く
もとは BI から本番 DB のリードレプリカに直接 SQL を投げていた。重いクエリが返らない、ダッシュボードのたびにエンジニアが要る、PII があるので権限を絞る――そして権限を絞るほどエンジニア待ちが増える。セルフサービス化とガバナンスを同時に解かないと進まない。
層の構成
| 層 | GCP 版(PKSHA) | AWS だけの構成案 |
|---|---|---|
| CDC 取り込み | Datastream | Aurora zero-ETL 連携(列を落とすなら AWS DMS) |
| DWH | BigQuery | Amazon Redshift Serverless または小さめのプロビジョンド |
| 変換・指標定義 | dbt(raw → staging → mart) | dbt-redshift |
| BI・権限 | Lightdash(セルフホスト) | 同じ(接続先を Redshift に) |
| AI の入口 | 自前 MCP サーバー | 同じ。Slack bot の LLM は Bedrock も可 |
| 実行基盤 | GKE Autopilot + Terraform | ECS Fargate + Terraform |
| 監査 | INFORMATION_SCHEMA.JOBS | SYS_QUERY_HISTORY + CloudTrail |
DWH に依存しない 6 つの設計
- 定義は 1 か所 — 指標は dbt の
schema.ymlだけに書き、BI も AI もそこを見る(セマンティックレイヤー) - DWH を直接読ませない — 読めるのはパイプラインと保守者だけ。利用者は BI を通し、
required_attributes(テーブル)とuser_attributes(行)で制御 - PII は 3 段構え — staging でソルト付き決定的ハッシュ、平文が要る列は
<table>_piiに隔離、クエリ履歴を dbt で監査 - 規則は CI で強制する契約に —
*_piiの命名・data_class: piiラベル・required_attributesの宣言を dbt の CI で落とす。だから MCP の PII ガードが単純な名前マッチで済む - AI の品質はサーバー側で担保 —
*_piiを参照するクエリは実行しても行の値を返さず、件数・Lightdash の URL・SQL だけ返す。URL と SQL は LLM に作らせずツールが返す。チャート種別ガイド、設定キーの抽出、応答の整形(256 KB を絞る)、存在しないフィールドへの候補提示で 1 往復の自己修正を促す - 権限は期限付き — 申請 → 承認 → 期限付きで属性付与 → 自動剥奪。「絞る」でなく「必要な人が必要な期間だけ持つ」
認証はユーザー単位の OAuth にし、AI が見られる範囲をその人が BI で見られる範囲に揃える。LLM が書いたコードは CI の lint、Terraform のユニットテスト、MCP のスモークテスト、理由と計測値を残すコミット、100 件超の決定ログで縛った。
コストの罠はソース側の課金ルール
- Aurora スナップショットの S3 エクスポートはスナップショット全体のサイズで課金される(AWS の中でも同じ)。日次の全量コピーには使わない
- BigQuery の CDC は適用のたびにテーブル全体を読む(1 日約 330 USD)。
max_stalenessを緩めて約 1/100 に - Datastream の量の 86% が 1 テーブルの JSON 列だった。ソース側で除外して月約 400 USD 削減
- Redshift Serverless は CDC が流れ続けるとアイドルにならない。
REFRESH_INTERVALを延ばす、PoC で RPU 時間を測ってプロビジョンド+リザーブドと比べる - 予算アラートは全体と主要サービスごとに最初から置く
データ照会チャットボットとの関係
業務システムのデータ照会チャットボットと分析基盤は、答える質問の種類が違う補完関係。
| 観点 | チャットボット(ツール呼び出し) | 分析基盤 |
|---|---|---|
| 典型的な質問 | 「この案件の今月の原価は?」 | 「事業所別の原価率の推移は?」 |
| 鮮度 | リアルタイム | CDC の分だけ遅れる |
| 権限 | 業務システムの行単位の権限 | BI 層のユーザー属性 |
| 数字の正本 | 業務システムのコード | dbt の指標定義 |
完成形は「3 経路を持つ 1 つの窓口」。経路はアプリがログイン中の役割で決め、優先順位は決定論的な順に ①→②→③。
| 経路 | 使える人 | 問い合わせ先 | 数字の扱い |
|---|---|---|---|
| ① 業務照会(ツール呼び出し) | 全員 | 業務ロジック → 業務 DB | 正本 |
| ② 定型分析(セマンティックレイヤー) | BI 権限を持つ人 | BI / dbt の MCP → DWH | 分析用の公式指標 |
| ③ 探索(Text-to-SQL) | 許可された役割だけ | DWH の mart(当初はレプリカ) | 調査用 |
作る順番:分析基盤を待たない
- ① ツール呼び出しのチャットボット(分析基盤不要。最初に価値が出る)
- ③ Text-to-SQL を許可された役割に開放(読み取り専用レプリカ)。目的は精度よりログ集め
- 合図が出たら分析基盤を作る — レプリカが重い、複数システムをまたぐ、過去時点の値が要る、同じ集計が繰り返し来る、ダッシュボードの要求
- ② を足し、③ の接続先を DWH の mart に移す
最初から主な要求が経営のダッシュボードや複数システム横断なら、分析基盤から始める。どちらでも、mart は実際に聞かれた質問から設計する。
二重にしない 3 つのもの
- 数字の正本 — 帳票と同じ数字は ① で答え、② は分析用と明示。業務 API と mart の値を突き合わせるテスト
- 権限 — BI の属性は業務システムの所属・役割から同期し、② を ① より広くしない
- 用語 — 分析指標は
schema.ymlを正にし、ツールのdescriptionも同じ用語集から書く(オントロジー)
関連ページ
- セマンティックレイヤー — 基盤の核になる定義の層
- Text-to-SQL — チャットボット側の探索経路と改善サイクル
- dbt / Lightdash — 定義と BI
- BigQuery / Amazon Redshift — DWH の選択肢
- レイクハウス — DWH を持たない S3 + Iceberg + Athena 案の土台
- AI-ready データ設計 — LLM に計算させない原則
- Claude Code — 基盤のコードを書き、分析の窓口にもなった
ソース記事
- BigQuery × dbt × Lightdash × MCP で作る AI ネイティブなデータ分析基盤:PKSHA の事例に学ぶ設計 — 2026-11-15
- AWS だけで作る AI ネイティブなデータ分析基盤:Aurora zero-ETL × Redshift × dbt 構成案 — 2026-11-15
- データ照会チャットボットはデータ分析基盤を作ってから?ツール呼び出し・Text-to-SQL・セマンティックレイヤーの関係と進め方 — 2026-11-15
- Text-to-SQL vs ツール呼び出し — 権限管理のある業務システムに AI データ照会を組み込む — 2026-11-15