タグ: CPU推論
"CPU推論" が付いた記事と Wiki ページ
Indra OCR:CPU だけで動く 100 万パラメータの OCR、日本語・縦書きにも対応
Indra OCR
Datalab が公開した CPU だけで動く軽量 OCR。ONNX Runtime で推論し、PDF や画像を Markdown・テキスト・座標付き JSON に変換する。日本語・縦書きにも対応するが、モデルの重みは修正版 OpenRAIL-M で商用利用に条件がある
BitNet
Microsoft Research が開発した 1-bit LLM 専用の推論フレームワーク。GPU 不要で CPU 上で大規模 LLM を実行できる
Microsoft BitNet完全オープンソース化:GPUなしで1000億パラメータLLMをCPUで動かす時代へ
Microsoft BitNet b1.58のオープンソース化を解説。1-bit量子化でGPU不要のCPU推論を実現するbitnet.cppの仕組み、ベンチマーク、セットアップ方法を紹介。