タグ: MoE

"MoE" が付いた記事と Wiki ページ

• Kimi K3

  Moonshot AI の 2.8兆パラメータ / 100万トークンモデル。KDA と Gated MLA のハイブリッド構成で KV キャッシュを削る「忘れ方」の設計が特徴

• Kimi K3 は2.8兆パラメータより「忘れ方」が新しい — KDA で読む記憶アーキテクチャと実運用コスト

  2026年8月3日

  Moonshot AI の Kimi K3（2.8兆パラメータ / 100万トークン）を記憶設計から解説。KDA 69 層 + Gated MLA 24 層のハイブリッド構成、KV キャッシュ 75% 削減の意味、トークン単価と Opus 5 比較、ローカル実行が不可能な理由まで。

• FREEBUFF — DeepSeek V4 Pro・Kimi K2.6・MiniMax M2.7 が無料で使えるコーディングエージェント CLI

  2026年5月13日

  npm install -g freebuff の一行で DeepSeek V4 Pro・Kimi K2.6・MiniMax M2.7 が無料で使えるコーディングエージェント CLI FREEBUFF を解説。広告収益モデルの仕組み、各モデルのアーキテクチャ特徴、プライバシー注意点まで網羅。

• DeepSeek-V4 Preview — Claude Opus 4.6 匹敵・100万トークン対応のオープンソース LLM が無償公開

  2026年4月25日

  DeepSeek-V4 Preview は 2026 年 4 月公開のオープンソース LLM。Pro（1.6 兆パラメータ）と Flash の 2 バリアントで 100 万トークンに対応。Codeforces で GPT-5.4 を超え、MIT ライセンスで Hugging Face から無償取得可能。MoE アーキテクチャで推論演算量を 73% 削減。

• Gemma 4

  Google DeepMind が 2026年4月にリリースしたオープンソース LLM シリーズ。Apache 2.0 ライセンスで、エッジ向けから高性能サーバー向けまで4サイズを提供

• Gemma 4がAPI経済を破壊する — オープンモデルがSaaS課金モデルを変える理由

  2026年4月7日

  Google Gemma 4はただのオープンモデルではない。26B MoEで推論時3.8Bアクティブ、E2Bモデルはスマホでオフライン動作、Apache 2.0ライセンス。API従量課金に依存するSaaSビジネスモデルへの影響を考察する。

• Gemma 4

  Google DeepMind が開発したオープンソース LLM シリーズ。Apache 2.0 ライセンスで商用利用可能。26B MoE はアクティブパラメータ約 3.8B、E2B はスマートフォンで動作する