lmarena.aiがLlama-4の対戦データを公開、Metaの透明性欠如を批判

AI モデルのブラインド比較プラットフォームである lmarena.ai（旧 LMSYS）が、Meta の「Llama-4」に関する 2,000 件以上の対戦データを公開し、同社の透明性の欠如を異例の形で批判しました。

人間の好みに合わせて「特調」されたモデル

問題視されているのは、「Llama-4-Maverick-03-26-Experimental」という名称でテストされていたモデルです。lmarena.ai の初期分析によると、回答のスタイルやトーン、さらには絵文字の使い方といった要素が、ユーザー投票の勝率に大きく影響していたことが判明しました。

プラットフォーム側は、Meta による規約の解釈が本来期待される基準を満たしていなかったと指摘しています。このモデルが人間の好みに最適化された特別なカスタム版であることを、Meta は事前に明示すべきだったという主張です。

lmarena.ai は透明性を保つため、プロンプト、回答、ユーザー評価を含む 2,000 件超の生データを全公開しました。さらに、Hugging Face 上で公開されている標準版の Llama-4-Maverick を新たに追加して評価を行い、今後は規約を改定して再発防止を図る方針です。

なぜ重要か

今回の件は、人間による評価に依存するリーダーボードの脆さを浮き彫りにしました。私たちは、丁寧な言い回しや親しみやすい絵文字で一般投票者の受けを狙う調整は、推論能力や実用性の向上とは全く別物であると考えます。

生データを公開し、一般に配布されている Hugging Face 版で検証し直すという lmarena.ai の対応は、ベンチマーク対策に走る開発企業に対する強い牽制になります。利用者側も、ランキングのスコアを鵜呑みにせず、手元で動く実際の公開モデルの実力を冷静に見極める必要があります。