タグ: データ基盤

"データ基盤" が付いた記事と Wiki ページ

• AI エージェントのためのデータ基盤：レイクハウスを土台に「意味・費用・権限・取り消し」を設計する

  2026年10月13日

  AI エージェントに社内データを分析させる基盤は、なぜレイクハウスが土台に向くのか。セマンティックレイヤー、Athena・Redshift の利用量上限、カタログの権限、Iceberg のブランチという 4 つの守りを整理します。

• DuckLake 入門：メタデータを SQL データベースに置くレイクハウスフォーマットと Iceberg との違い

  2026年10月13日

• Iceberg と DuckLake の先へ：2026 年に注目したいレイクハウスの技術とプロダクト

  2026年10月13日

  Apache Iceberg と DuckLake 以外のレイクハウス技術を層ごとに整理。Iceberg v3、Delta Lake・Hudi・Paimon の違い、XTable と UniForm による相互変換、Polaris・Unity Catalog・Gravitino・Lakekeeper の Iceberg REST カタログ、Apache Fluss、AI 向けの Lance と Vortex まで 2026 年の動向をまとめます。

• Redshift か、S3 ＋ Iceberg のレイクハウスか：DWH とオープンテーブルフォーマットの選び方

  2026年10月13日

• Apache Iceberg

  S3 などのオブジェクトストレージ上のファイル群をデータベースのテーブルとして扱うオープンテーブルフォーマット。ACID・タイムトラベル・スキーマ進化を実現し、計算エンジンを用途ごとに選べるようにする

• DuckLake

  DuckDB チームのレイクハウスフォーマット。データは Parquet でオブジェクトストレージに、メタデータはすべて PostgreSQL などの SQL データベースに置く

• Apache Iceberg 入門：データレイクを「テーブル」にする仕組みと DuckDB との関係

  2026年10月12日

• Snowfake: ビュー

  2023年3月18日

• Snowflake: NDJSON format

  2023年2月14日