タグ: データ基盤
"データ基盤" が付いた記事と Wiki ページ
BigQuery × dbt × Lightdash × MCP で作る AI ネイティブなデータ分析基盤:PKSHA の事例に学ぶ設計
AWS だけで作る AI ネイティブなデータ分析基盤:Aurora zero-ETL × Redshift × dbt 構成案
データ照会チャットボットはデータ分析基盤を作ってから?ツール呼び出し・Text-to-SQL・セマンティックレイヤーの関係と進め方
AI ネイティブなデータ分析基盤
人間と AI が同じ指標定義・同じ権限・同じ PII 規則でセルフサービス分析できるように設計したデータ基盤。データ照会チャットボットとの関係と、作る順番まで
セマンティックレイヤー
「売上」「アクティブユーザー」などの指標の定義(計算式・粒度・結合)を 1 か所にまとめ、BI と AI が同じ定義で数字を出すための層
Amazon Redshift
AWS の DWH。Aurora zero-ETL 連携で取り込みを自作せずに済む一方、列単位で PII を落とせない点と、Serverless が CDC でアイドルにならない点に注意が要る
BigQuery
Google Cloud のサーバーレス DWH。オンデマンド課金はスキャン量で決まり、CDC の適用がテーブル全体を読む点がコストの落とし穴になる
dbt
DWH 上のデータ変換を SQL で書くツール。raw → staging → mart の層構成と、schema.yml の指標定義で BI と AI の共通の定義源になる
Lightdash
dbt の schema.yml に書いた指標・ディメンションをそのまま探索画面にする BI ツール(コアは OSS)。ユーザー属性でテーブル・行の権限も制御する
レイクハウス
データをオープンな形式でオブジェクトストレージに 1 か所だけ置き、テーブルフォーマット・カタログ・計算エンジンを差し替え可能な層として組み合わせるデータ基盤のアーキテクチャ。DWH 一体型との使い分けと、AI エージェント向けの守りまで