Meta幹部、Llama 4のベンチマーク不正水増し疑惑を否定

Meta の最新オープンモデル「Llama 4」を巡り、ベンチマークスコアの不正操作疑惑が浮上しました。

週末にかけて X や Reddit 上で疑惑が急速に拡散したことを受け、Meta の生成 AI 担当バイスプレジデントである Ahmad Al-Dahle 氏が火消しに追われる事態となっています。

内部告発の噂とリーダーボードの乖離

発端となったのは、中国の SNS に投稿された書き込みでした。同社のベンチマーク手法に抗議して退職した元社員を名乗る人物が、Meta は新モデル「Maverick」と「Scout」をテストセットで意図的に事前学習させたと主張したのです。

AI の性能評価において、テストセットのデータを学習に含める行為はいわば試験のカンニングと同じであり、見かけのスコアだけを不当に引き上げることになります。

この疑惑が一気に信憑性を帯びた背景には、実際のユーザーから特定のタスクで期待外れの性能しか出ないという声が相次いでいたことがあります。

さらに、評価プラットフォーム「LM Arena」で高スコアを記録した Maverick が、実は一般公開されていない実験的バージョンだったことが研究者らによって判明。一般にダウンロード可能なモデルと Arena 上のモデルで挙動に明らかな差があることが指摘されていました。

これに対し Al-Dahle 氏は月曜日、テストセットで学習させたという噂は「完全な事実無根」だと否定しました。

一方で同氏は、各クラウドサービス上で提供されているモデルの品質にばらつきがあることは認めています。準備が整い次第すぐにモデルを公開したため、外部環境での最適化が完了するまでに数日かかる見込みであり、現在はバグ修正とパートナー支援を進めていると説明しました。

なぜ重要か

AI モデルを開発や業務で活用したいエンジニアにとって、今回の件は「公式ベンチマークを鵜呑みにするな」という強い警告になります。スコアが高くても実際のタスクで使い物にならなければ意味がありません。各クラウドでの実装が安定するまで数日は様子を見るのが賢明です。

業界全体にとっても、LM Arena などの公開リーダーボードの信頼性が揺らぐ契機になりかねません。未公開の特別チューニング版を持ち込んで上位を狙う手法が常態化すれば、健全なモデル比較が成立しなくなります。

今回の Meta の対応を見る限り、競合に対抗するためにリリースを急ぎすぎた印象は否めません。不正学習自体は否定したものの、ダウンロード版と評価版で異なるモデルを用意していた事実は、オープンソースコミュニティからの信頼を損なう危うい一手だったと言えます。