Metaがスマホ向け小型モデル「MobileLLM」発表：3.5億パラメータで70億のLLaMA-2に匹敵

MobileLLMは、スマートフォンなどのリソースが限られた端末向けにMetaが開発した、10億パラメータ以下の超小型言語モデルアーキテクチャです。

Meta Reality Labs、PyTorch、FAIRの合同チームが設計を手がけ、クラウドを介さず端末ローカルで実用的な処理をこなすことを目指しています。

何ができるのか

パラメータ数を10億未満に抑えながらも、同規模の既存小型モデルに対してベンチマークで2.7%から4.3%の性能向上を記録しています。

実用面で特に注目されるのがAPI呼び出しの精度です。わずか3.5億パラメータの構成でありながら、20倍の規模を持つ70億パラメータのLLaMA-2と同等の精度を達成しました。

アプリの操作、スケジュールの登録、メッセージ送信といった端末内アシスタントの定型タスクを、低消費電力かつ高精度にローカル処理できるポテンシャルを持っています。

どのような仕組みか

従来の小型化手法とは異なり、層の幅を広げるよりも深さを優先する設計方針を採用しています。深さを保つことで、小規模モデルでも複雑な関係性を捉えやすくしました。

さらに、埋め込み層の共有やGrouped-Query Attentionを取り入れています。

MetaのチーフAIサイエンティストであるヤン・ルカン氏はX上で、ブロック単位の即時重み共有技術の重要性を強調しました。隣接する層で重みを共有することで、メモリ消費と読み出し遅延を抑えています。

公開状況と試し方

一般ユーザー向けアプリとしてすぐに使える状態ではありませんが、Metaは事前学習コードをオープンソースとして公開しています。

研究者や開発者はリポジトリからコードを入手し、アーキテクチャの検証や自前のデータセットを使った学習・微調整を行えます。

なぜ重要か

オンデバイス処理を前提としたアプリを開発しているエンジニアにとって、見逃せない設計アプローチです。単純なタスクであれば7Bクラスの巨大なモデルを持ち出す必要がないことを、3.5億パラメータで実証しました。

巨大モデルを無理に縮小するのではなく、メモリ帯域の制約に合わせて最初から深く軽く組み上げる手法は極めて実用的です。端末内AIの実装において、有力な選択肢になると考えられます。