Metaがスマホ向け小型モデル「MobileLLM」発表：3.5億パラメータで70億のLLaMA-2に匹敵
Metaはスマートフォンなどの端末向けに特化した10億パラメータ以下の言語モデル設計「MobileLLM」を発表した。層の深さや重み共有を最適化することで、3.5億パラメータ版が特定のAPI呼び出しで70億のLLaMA-2と同等の精度を達成。事前学習コードが公開されている。
Metaはスマートフォンなどの端末向けに特化した10億パラメータ以下の言語モデル設計「MobileLLM」を発表した。層の深さや重み共有を最適化することで、3.5億パラメータ版が特定のAPI呼び出しで70億のLLaMA-2と同等の精度を達成。事前学習コードが公開されている。