Inclusion AI、実環境アプリでLLMを直接戦わせる「Inclusion Arena」公開

新しい大規模言語モデルが登場するたびに、開発元はMMLUなどのベンチマークで満点に近いスコアを並べ立てます。しかし、現場のエンジニアなら誰もが知っている通り、テストの点数が高いモデルが実際のアプリで使い物になるとは限りません。

アリババ傘下のアント・グループに属するInclusion AIの研究チームが、この課題を解決するための新しい評価プラットフォーム「Inclusion Arena」を立ち上げました。

実際のアプリ内でリアルタイムにブラインドテスト

静的なデータセットを解かせたり、Webサイトでボランティアに質問させたりする従来の評価とは異なり、Inclusion Arenaはベンチマークを実際の商用アプリケーション内に組み込んでいます。

現在はキャラクター対話アプリ「Joyland」と教育支援アプリ「T-Box」の2つのサービスに組み込まれています。ユーザーがアプリ内で通常通り会話をすると、裏側で複数のLLMに応答がリクエストされます。

ユーザーはどのモデルが生成したかを知らされないまま、最も気に入った返答を選択します。日常的な利用の裏で、自然なブラインドA/Bテストが行われる仕組みです。

2025年7月までのデータ集計によると、46,611人以上のアクティブユーザーから501,003件のペア比較データが集まりました。

初期のリーダーボードでは、AnthropicのClaude 3.7 Sonnetが首位に立ち、DeepSeek v3-0324、Claude 3.5 Sonnet、DeepSeek v3、Qwen Max-0125が続く結果となっています。

EloからBradley-Terryへ、効率化の仕組み

モデルの勝敗判定には、チェスなどで使われるElo評価ではなく、Bradley-Terryモデルを採用しています。研究チームによると、モデル数が急増した際にもより安定したレーティングを算出できるといいます。

さらに、全モデル総当たりの対戦は計算コストが膨大になるため、2つの工夫を施しています。

新モデルの初期位置を素早く推計するプレースメントマッチ機構と、実力の近いモデル同士のみを対戦させる近隣サンプリングです。これにより、限られたコストで効率的にランキングを更新できます。

現在は2つのアプリにとどまっているものの、研究チームはオープンアライアンスを結成して参加アプリを拡大していく方針です。

なぜ重要か

企業がLLMを選定する際、従来の静的ベンチマークはすでに学習データ汚染などの問題を抱えており、信頼性が落ちています。実際のユーザーが対話の中でどちらの回答を好んだかというデータは、実務導入における極めて実用的な指標になります。

ただし、現段階のランキングをそのまま鵜呑みにするのは時期尚早だと考えられます。データソースがキャラクター会話と教育アプリに偏っているため、ここでの強さはエンタメ性や親しみやすさの評価であり、業務文書の要約やコード生成の能力をそのまま示すものではありません。

業界全体から見れば、AIギークによる「粗探し」の投票から、一般ユーザーによる「実利用」の評価へと軸足を移した点に大きな意義があります。

通常利用のトラフィックをそのまま評価に変える手法は非常に合理的です。今後の成否は、業務ツールや検索サービスなど多様なジャンルのアプリをエコシステムに巻き込めるかどうかにかかっています。