マイクロソフトが27億引数の「Phi-2」公開、25倍サイズのモデルを凌駕

モデルの大規模化競争が過熱するなか、Microsoft Researchがわずか27億パラメータの極小モデルで業界を驚かせています。

Microsoftは小型言語モデル「Phi-2」を発表しました。パラメータ数はわずか2.7Bですが、複雑な推論タスクにおいて最大で25倍ものサイズを持つモデルを上回るスコアを叩き出しています。

96枚のA100で14日間の省エネ学習

大規模言語モデルのトレーニングには数千台規模のGPUクラスタが当たり前になっていますが、Phi-2の学習環境は96枚のNVIDIA A100 GPU、期間はわずか14日間でした。

学習には1.4兆トークンが使われましたが、Microsoftが最もこだわったのはデータ品質です。一般的なウェブスクレイピングに頼るのではなく、科学や日常常識、心の理論などを教えるために独自生成した高品質な合成データと、教育的価値の高いウェブデータを厳選して投入しました。

さらに、前世代の1.3Bモデル「Phi-1.5」の知識をベースとして2.7Bモデルに組み込む拡張アプローチを採用しました。ゼロから学習するのではなく知識を効率的に転移させたことで、学習の収束を大幅に早めています。

70Bモデルを超えるコード生成力

ベンチマークのスコアは目を見張るものがあります。Phi-2は、13B以下の基本モデルにおいて最高水準の性能を達成しました。

コード生成のベンチマークにおいて、Phi-2は53.7ポイントを記録し、Mistral-7BやLlama-2-13Bはもちろん、700億パラメータを誇るLlama-2-70Bの38.3ポイントをも大きく引き離しました。数学推論でも61.1をマークし、Llama-2-70Bの64.1に迫っています。

また、Googleが発表したばかりのモバイル向けモデル「Gemini Nano 2（3.2B）」との比較でも、推論テストのBig Bench Hardで59.3対42.4、コーディングテストで59.1対27.2と、より小さいサイズでありながら完勝しています。

注目すべきは、Phi-2が強化学習（RLHF）や指示チューニングを一切受けていない純粋なベースモデルである点です。それでも、データ選別が徹底されているため、調整済みのオープンソースモデルと比べても毒性やバイアスが低く抑えられています。現在はAzure AI Studioのモデルカタログで研究用途向けに公開されています。

なぜ重要か

私たちは、この成果が「パラメータ至上主義」に対する強力な反証になると考えています。エッジデバイスでAIを動かしたい開発者にとって、わずか2.7Bで高い推論とコーディングを行えるモデルの登場は、端末内ローカル処理の現実味を一気に引き上げました。

業界全体にとっても、データ選別と合成データ作成のノウハウが演算リソースの差を覆せることを証明した意味は大きいです。他社も単なるデータ量の拡大から、データ教育の質へと舵を切らざるを得なくなるでしょう。

一方で、慎重に見るべき点もあります。合成データに特化した学習はベンチマーク対策になりやすく、予期せぬ実世界の入力に対して脆さを見せる可能性があります。また、対話向けのチューニングがされていないため、即座に業務アプリに組み込めるわけではありません。それでも、ローカルAIの基礎研究の土台として、今すぐ試す価値が十分にある一歩です。