タグ: kv-cache
"kv-cache" が付いた記事と Wiki ページ
Looped Transformer とは? 同じ層を繰り返して 4B モデルを深くする NVIDIA Dory1.0-4B
Looped Transformer(ループ型 Transformer)
重みを共有した層を繰り返し通して、パラメータを増やさずに深さを稼ぐ Transformer。推論時にループ回数を選んで計算量と精度を調整できる
Redis 作者 antirez の "ds4" — DeepSeek V4 Flash 専用ローカル推論エンジンが M3 Ultra 512GB で 26 token/sec を叩き出す
Redis 作者 antirez が公開した DeepSeek V4 Flash 専用ローカル推論エンジン ds4(DwarfStar 4)を解説。Mac Studio M3 Ultra 512GB で 26 token/sec、KV キャッシュのディスク永続化、OpenAI / Anthropic 互換 API、Claude Code からの利用方法、2bit 非対称量子化、Exact Replay 設計まで網羅。