タグ: 1-bit LLM
"1-bit LLM" が付いた記事と Wiki ページ
BitNet
Microsoft Research が開発した 1-bit LLM 専用の推論フレームワーク。GPU 不要で CPU 上で大規模 LLM を実行できる
Microsoft BitNet完全オープンソース化:GPUなしで1000億パラメータLLMをCPUで動かす時代へ
Microsoft BitNet b1.58のオープンソース化を解説。1-bit量子化でGPU不要のCPU推論を実現するbitnet.cppの仕組み、ベンチマーク、セットアップ方法を紹介。