LMArena に対抗：Scale AI が実利用データに基づく「SEAL Showdown」を公開

新しい大規模言語モデルが登場するたび、開発者たちは真っ先にLMArenaの順位を確認してきました。しかし、難解なコードパズルを解かせるギークと、日々のメール返信や要約を頼む一般ユーザーとでは、何をもって「良いモデル」とするかの基準はまるで違います。

AIデータラベリング大手のScale AIが発表した新ベンチマークツール「SEAL Showdown」は、まさにこの業界標準に揺さぶりをかける試みです。

「ギーク中心」の評価からの脱却

SEAL Showdownの基本的な仕組みはLMArenaと似ています。提示されたプロンプトに対して2つの匿名モデルが出力した回答をブラインド比較し、どちらが優れているかをユーザーが投票します。

従来のリーダーボードとの最大の違いは、投票者の多様性です。Scale AIのプロダクト責任者であるJanie Gu氏は、既存のベンチマークが合成テストやごく一部の愛好家の評価に偏っており、多様なユーザーを単一の集団として扱っていると指摘しています。

Scale AIは自社のデータ作成基盤「Outlier」を活用しています。100カ国以上、70言語、200の専門分野にまたがる実際のユーザーによる対話データをランキングの根拠に据えています。

さらに投票者の国、学歴、職業、言語、年齢といった属性が確認されているため、自分と似た属性の人々がどのモデルを好んでいるかというセグメント別の順位を表示できるのが強みです。

Scale AIは昨年SEALリーダーボードを立ち上げましたが、当時は専門家による評価に依存していました。今回は一般ユーザーの利用体験を反映させた形です。

GPT-5独占と評価軸のねじれ

公開されたSEAL Showdownの初期結果は、業界に驚きを与えています。現在のところ、すべてのベンチマークカテゴリーでGPT-5がトップを独占しています。

これは、GoogleのGemini 2.5 ProやGemini 2.5 Flash、Veo 3が多数の首位を占めるLMArenaとは対照的な結果です。

もっとも、この新しい仕組みにも課題はあります。LMArenaは大企業モデルに有利に偏っているとの批判を受けてきましたが、Scale AIのランキングでGPT-5が一強となっている現状も、客観的な性能というよりは知名度や親しみやすさといった主観的嗜好を反映しているに過ぎないのではないかとの見方が出ています。

なぜ重要か

私たちは、AI評価のデファクトスタンダードだったLMArenaに対抗馬が現れたこと自体を前向きに捉えています。これまでのベンチマークはコード生成などの極端なタスクに偏りがちで、一般の利用シーンと乖離していました。職業や地域ごとに絞り込んで評価を見られるようになれば、企業が現場の用途に合わせてモデルを選定する際の確かな指標になります。

Scale AIの手法は非常に巧みです。既存のOutlierプラットフォームに登録された認証済み作業者をそのままテスターとして転用することで、他社が容易に真似できない属性付き評価基盤を構築しました。

一方で、人間の主観的な「好み」がどこまでモデルの実力を表しているかという問題は残ります。丁寧な口調や見栄えの良い書式に投票が集まりやすい傾向があるため、GPT-5の圧勝が純粋な能力差なのか、単なる好感度の差なのかは見極めが必要です。利用者は単一の順位を鵜呑みにせず、両プラットフォームを比較しながら実態を判断するのが賢明です。