タグ: Parquet

"Parquet" が付いた記事と Wiki ページ

• DuckLake 入門：メタデータを SQL データベースに置くレイクハウスフォーマットと Iceberg との違い

  2026年10月13日

• Iceberg と DuckLake の先へ：2026 年に注目したいレイクハウスの技術とプロダクト

  2026年10月13日

  Apache Iceberg と DuckLake 以外のレイクハウス技術を層ごとに整理。Iceberg v3、Delta Lake・Hudi・Paimon の違い、XTable と UniForm による相互変換、Polaris・Unity Catalog・Gravitino・Lakekeeper の Iceberg REST カタログ、Apache Fluss、AI 向けの Lance と Vortex まで 2026 年の動向をまとめます。

• Apache Iceberg

  S3 などのオブジェクトストレージ上のファイル群をデータベースのテーブルとして扱うオープンテーブルフォーマット。ACID・タイムトラベル・スキーマ進化を実現し、計算エンジンを用途ごとに選べるようにする

• DuckLake

  DuckDB チームのレイクハウスフォーマット。データは Parquet でオブジェクトストレージに、メタデータはすべて PostgreSQL などの SQL データベースに置く

• Apache Iceberg 入門：データレイクを「テーブル」にする仕組みと DuckDB との関係

  2026年10月12日

• AI-ready データ設計

  LLM に算術をさせず、検索・集計条件の指定だけを任せるデータ公開の設計パターン

• デジタル庁の行政手続 MCP サーバーに学ぶ「LLM に計算させない」データ設計

  2026年8月16日

  デジタル庁が公開した行政手続データ（約75,000件）のMCPサーバー実装を読み解く。LLMには検索・集計条件の指定だけを任せ算術はサーバー側で行う設計、dataset.yaml による意味定義、Parquet 採用、ファジーマッチの適用範囲の絞り方まで、自社データをAIにつなぐときに転用できるポイントを整理する。

• 列指向ストレージ

  データを列ごとに格納するストレージ方式。分析クエリの I/O 効率と圧縮率を大幅向上