LM Arenaに大手優遇の不正疑惑：非公開テストで高スコア選抜か

AI業界で最も信頼されている性能評価の場「Chatbot Arena」に、深刻な不正疑惑が浮上しました。

AIスタートアップのCohere、スタンフォード大学、MIT、アレン人工知能研究所（Ai2）の共同研究チームが発表した論文によると、Chatbot Arenaを運営するLM Arenaが、Meta、OpenAI、Google、Amazonといった一部の巨大テック企業に特権を与え、ランキングを意図的に操作できるように支援していたと告発されています。

27体のモデルを非公開テスト、最高スコアだけを公開

告発の中心となっているのは、未公開モデルに対する非公開テストの存在です。研究チームが5カ月間にわたる280万回以上の対戦データを分析したところ、大手企業は一般には知らされていない非公開枠を利用し、複数の派生モデルをテストしていたことが判明しました。

特に際立っているのがMetaの事例です。同社は「Llama 4」のリリース前である1月から3月の間に、実に27種類ものモデル変種をChatbot Arenaで秘密裏にテストしていました。そして正式発表時には、上位にランクインした最も出来の良い1モデルのスコアのみを公開したとされています。

CohereのAI研究担当バイスプレジデントであるSara Hooker氏は、このプライベートテストの存在はごく一部の企業にしか知らされておらず、受けたテストの量にも圧倒的な格差があったと指摘し、評価ハックだと批判しています。

これに対し、LM Arenaの共同創設者であるカリフォルニア大学バークレー校のIon Stoica教授は、論文には不正確な点や疑問の残る分析が多いと反論しました。LM Arena側も、テストへの応募は広く開かれており、一般公開されないモデルのスコアを公表してもコミュニティには意味がないと主張しています。

偏った対戦頻度とデータの囲い込み

論文が指摘するもうひとつの問題は、対戦のサンプリング率の偏りです。大手企業のモデルほど高い頻度で対戦に登場するよう設定されており、より多くの人間のフィードバックデータを収集できていたとされています。

研究チームによると、この追加データを利用することで、別のベンチマークであるArena Hardのスコアを最大112％向上させることが可能だったといいます。ただし、LM Arena側はArena Hardの成績とChatbot Arenaの順位は直接連動しないとXで反論しています。

なお、今回の研究手法にも限界があります。調査では匿名モデルに対して「開発元はどこか」を尋ねる自己識別プロンプトが使われており、完全な精度とは言えません。Google DeepMindのエンジニアからも、Google全体で10モデル送られた事実は否定しないものの、Gemmaのチームが提出したのは1つだけだったという訂正のコメントが出ています。

それでもLM Arena側は、すべてのモデルの対戦回数を均等にするための新しいサンプリングアルゴリズムを開発中だと明かしました。

なぜ重要か

従来の静的なベンチマークが学習データの混入などで形骸化するなか、ユーザーによるブラインドテストを行うChatbot Arenaは業界随一の信頼を獲得してきました。しかし、舞台裏で20以上のバリエーションを試し、最も良いスコアだけをつまみ食いできるのだとすれば、その順位表は実用的な性能を反映しているとは言えません。

開発者や導入企業にとっては、ランキング上位の数字をそのまま信じるリスクが浮き彫りになりました。MetaがLlama 4発表時に会話専用に最適化したモデルで高スコアを叩き出しながら、実際に配布された通常モデルの性能が大きく下回っていた一件は、まさにこの構造が生んだ歪みといえます。

私たちは、LM Arenaが商業化に踏み切ったタイミングだからこそ、この問題は重いと考えます。UCバークレー発の学術プロジェクトから資金調達を目指す企業へと舵を切った以上、中立性と透明性の担保は絶対条件です。特定の巨人にだけ都合の良いサンドボックスを残したままでは、業界全体の信頼基準そのものが揺らぎかねません。