#Gauss

研究拡散指数 31

Appleが明かす端末向けLLM最適化：フラッシュメモリ活用でRAMの2倍のモデルを駆動

Appleは論文「LLM in a flash」を発表し、DRAM容量を超える大規模言語モデルを端末上で動かす技術を公開した。パラメータをフラッシュメモリに置きオンデマンドで読み出すことで、メモリの2倍サイズのモデルを扱え、GPU推論速度を最大25倍引き上げた。端側AIの実現に向けた重要な一歩となる。