Edge0：SSDをメモリ代わりに活用、35B MoEモデルがわずか2.5GBメモリで動作
MoE推論フレームワーク「Edge0」がオープンソース化された。SSDからオンデマンドでエキスパート重みを読み出すことで、35B規模のモデルを約2.5GBのアクティブメモリでiPhoneやMac上で実行可能にする。事前のルーティング予測で読み込み遅延を隠蔽し、メモリ制限のある端末での大規模モデル運用を容易にする。
MoE推論フレームワーク「Edge0」がオープンソース化された。SSDからオンデマンドでエキスパート重みを読み出すことで、35B規模のモデルを約2.5GBのアクティブメモリでiPhoneやMac上で実行可能にする。事前のルーティング予測で読み込み遅延を隠蔽し、メモリ制限のある端末での大規模モデル運用を容易にする。