マイクロソフト、38億パラメータの小型AI「Phi-3 Mini」を公開

Phi-3 Miniは、マイクロソフトが公開したパラメータ数38億（3.8B）の軽量言語モデルです。最大の特徴は、データセンターのサーバーに接続することなく、スマートフォンやノートPCのローカル環境で直接動作することです。

巨大なインフラを介さずに、手元のデバイスで文書要約やコーディング支援、論理的な推論を素早く、かつプライバシーを保ったまま実行できます。

どのように作られたのか

通常の巨大モデルはインターネット全体の膨大なテキストを学習しますが、小型モデルで同じことをしても雑音が多く性能が出ません。そこで開発陣は、子供が絵本や就寝時の読み聞かせから言葉を学ぶプロセスに着目しました。

具体的には、3,000語以上の単語リストを用意し、別の大規模モデルを使って子供向け絵本のようなシンプルで分かりやすい合成データを大量に生成。それを高品質な教材として学習させました。

コード特化だったPhi-1、推論を始めたPhi-2の知見を継承し、Phi-3 Miniではコードと論理推論の両面で前世代を上回る性能を実現したとしています。

性能とできることの限界

マイクロソフトAzure AI担当幹部のエリック・ボイド氏は、Phi-3 Miniについて「サイズが小さいだけで、実質的にGPT-3.5に匹敵する」と述べています。また、研究部門幹部のセバスチャン・ビュベック氏によれば、10倍の規模を持つモデルと比べて運用コストが大幅に抑えられるとのことです。

ただし、ウェブ全体のデータを丸ごと学習しているわけではないため、知識の網羅性や雑学の幅広さではGPT-4などの大型モデルには到底及びません。

万能な百科事典として使うのではなく、社内データと組み合わせた特定用途の業務アプリや、端末単体で完結するタスクに向いています。

入手方法と動かし方

Phi-3 Miniは現在すでに公開されており、Hugging Faceからモデルファイルをダウンロードできるほか、Ollamaを使ってローカル環境で簡単に動かせます。クラウド上で使いたい場合は、Microsoft Azureのモデルカタログからも利用可能です。

今後、70億パラメータのPhi-3 Smallや140億パラメータのPhi-3 Mediumの追加も予定されています。

なぜ重要か

社外に機密データを出したくない開発者や、ネットが使えない環境でも動くモバイルアプリを作りたい人にとって、今すぐ試す価値がある選択肢です。3.8Bというサイズ感は一般的なPCでも十分に軽快に動きます。

GoogleのGemma（2B/7B）やMetaのLlama 3 8Bがひしめく小型モデル市場において、絵本風の合成データで賢さを引き出すアプローチは極めて実用的です。知識量競争から降り、端末内で実用的な推論をこなすモデルとして、ローカルAIの実用化を確実に一歩進めています。