AIベンチマークの形骸化を検証：MMLUのスコアが実力を示せない理由

テクノロジー大手が新しい AI モデルを発表するたび、プレゼン資料には必ずと言っていいほど誇らしげなベンチマークのグラフが並びます。Google は Gemini が MMLU で 90.0% を記録し人間を超えたとアピールし、Meta のマーク・ザッカーバーグ氏も最新の Llama が同テストで約 82 点に達したと胸を張りました。

しかし、こうした数字を鵜呑みにしてはいけないようです。調査報道メディアの The Markup が多数の論文やデータセットを精査し開発者に取材したところ、業界標準とされる AI テストの多くがすでに形骸化し、ほとんど意味をなしていない実態が浮き彫りになりました。

5年前の常識問題とネットの拾い集めデータ

カーネギーメロン大学の Maarten Sap 助教は、AI を測る物差しは根本的に壊れていると指摘します。

原因のひとつは、テスト自体の古さです。頻繁に使われる HellaSwag は 2019 年に作られたもので、当時の未熟な AI がフラフープを回した直後に車から降りるような、5歳児でもわかる不条理な選択肢を見抜けるかを試す設計でした。

さらに問題なのはデータの質です。多くのテストデータは専門家ではなく、Reddit や WikiHow、雑学サイトからスクレイピングして作られていました。中には、倫理や道徳の判断テストをアマゾンのクラウドソーシングで集めたギグワーカーに作成させた例すらあります。

プリンストン大学の Arvind Narayanan 教授は、テストが公開されてから年月が経ちすぎているため、モデルの事前学習データに問題と解答がすでに紛れ込んでいるデータ汚染を指摘しています。

ワシントン大学の言語学者 Emily M. Bender 教授も、これらのベンチマークは概念的妥当性を欠いていると批判します。単語の並びを確率的に予測しているだけのモデルを、あたかも思考力や理解力があるかのように宣伝するのは誤認を招くという見解です。

Google 側は、学術ベンチマークに限界やデータ漏洩のリスクがあることは論文で開示しており、AI が医師の代わりにならないことも明確にしているとコメントしました。Meta と OpenAI は取材に応じていません。

なぜ重要か

一般ユーザーにとって、こうした過大評価の実態を知ることは非常に重要です。医師国家試験レベルのテストで高得点を取ったと言われると、つい医療相談を AI に頼りたくなりますが、実際は過去問を丸暗記しただけに過ぎない可能性があります。高リスクな判断を任せるべきではないという警戒心を持つ必要があります。

業界全体にとっても、過去問頼りの開発競争は限界を迎えています。旧世代の選択式テストを満点近くまで解かせても、実際の業務で役立つ推論能力が身につくわけではありません。今後は単純なスコア競争から、複数ステップの作業をこなせるエージェント型の実用性テストへ移行せざるを得ないと私たちは見ています。