12GBのVRAMで31GBのLLMが動く：コンシューマー向けGPUのVRAM限界をシステムRAMで補うオープンソース技術「GreenBoost」が登場

近年、オープンソースの大規模言語モデル（LLM）の性能向上は著しく、数百億から数千億パラメータクラスのモデルが次々と公開されている。しかし、これらの高度な推論能力をローカル環境で活用しようとする開発者や研究者の前に立ちは [&hellip;]