概要
Kimi K3 は Moonshot AI の大規模言語モデルで、2.8兆パラメータ・100万トークンコンテキストを掲げる。ただしこのモデルで注目すべきはパラメータ数そのものではなく、記憶（Attention）をどう作り替えたかにある。GPT-2 比で約 22,580 倍という数字は賢さの倍率ではない。
ハイブリッドな記憶設計
Kimi K3 は単一の Attention 方式に賭けず、2種類を層ごとに使い分ける。
- KDA（Kimi Delta Attention）69層 — 線形 Attention 系。状態を圧縮して保持するため、長い系列でもメモリが膨らみにくい
- Gated MLA 24層 — 全系列を参照できる方式。精度が要る箇所に配置する
この構成により KV キャッシュを約 75％ 削減している。ロングコンテキストの実用上のボトルネックは計算量より KV キャッシュのメモリなので、100万トークンを現実的なコストで扱うための中核がここにある。
「忘れ方」が設計対象になった
線形 Attention は本質的に「何を捨てるか」を決める仕組みである。全部を等しく覚えることを諦め、重要度に応じて状態を更新していく。K3 の設計は、この忘却の挙動をゲートで制御しつつ、忘れて困る箇所には従来型の Attention を残す、という折衷になっている。
記憶設計は学習コストの話でもあり、この構成は蒸留だけでは説明できないという見方がある。
実運用での位置づけ
- ローカル実行は現実的でない。2.8兆パラメータ級は個人の環境に載らない
- 評価はトークン単価とタスク適合で見る。Opus 5 などのフロンティアモデルとの比較では、ロングコンテキストのコスト効率が論点になる
新しいモデルを見るときの観点
パラメータ数・コンテキスト長という表面的な数字ではなく、記憶方式（Attention の構成）／KV キャッシュのコスト／実際に払う単価の3点で見ると、モデル間の差が比較可能になる。
関連ページ
- ローカル LLM の比較 — ローカル実行可能なモデル
- サブクアドラティック Attention — 線形 Attention 系の系譜
- コンテキスト圧縮 — 長文脈を扱う別のアプローチ