タグ: llm
"llm" が付いた記事と Wiki ページ
Looped Transformer とは? 同じ層を繰り返して 4B モデルを深くする NVIDIA Dory1.0-4B
Transformer 入門 — Attention の仕組みと RNN との違い、ニューラルネットワークとの関係
Looped Transformer(ループ型 Transformer)
重みを共有した層を繰り返し通して、パラメータを増やさずに深さを稼ぐ Transformer。推論時にループ回数を選んで計算量と精度を調整できる
Transformer(トランスフォーマー)
RNN をやめて Attention だけで系列を処理するニューラルネットワークのアーキテクチャ。並列に学習できることが現在の LLM の土台になった
自然言語処理の基礎をやさしく解説 — Microsoft AI-For-Beginners レッスン 13〜20
AI-For-Beginners(Microsoft)
Microsoft が GitHub で公開する無料の AI 入門カリキュラム。シンボリック AI からニューラルネットワーク、CV、NLP、Transformer までを 24 レッスンで辿る。日本語版あり
AI の歴史と基本をやさしく解説 — Microsoft AI-For-Beginners レッスン 01
更新日:Microsoft の AI-For-Beginners 日本語版 — LLM の「手前」を積み直す教材として使う
更新日:Kimi K3
Moonshot AI の 2.8兆パラメータ / 100万トークンモデル。KDA と Gated MLA のハイブリッド構成で KV キャッシュを削る「忘れ方」の設計が特徴
Kimi K3 は2.8兆パラメータより「忘れ方」が新しい — KDA で読む記憶アーキテクチャと実運用コスト
Moonshot AI の Kimi K3(2.8兆パラメータ / 100万トークン)を記憶設計から解説。KDA 69 層 + Gated MLA 24 層のハイブリッド構成、KV キャッシュ 75% 削減の意味、トークン単価と Opus 5 比較、ローカル実行が不可能な理由まで。