スタンフォード大「AI Index」：従来テストで人間超え、評価基準の刷新急務

スタンフォード大学人間中心AI研究所（HAI）が、第7版となる年次報告書「AI Index 2024」を公開しました。学術界と産業界の専門家がまとめたこの分厚いレポートが突きつけた最も強烈な現実は、AIが既存の性能ベンチマークのほぼすべてで人類を追い抜いてしまったという事実です。

AIがあまりに急速に試験をクリアしていくため、これまで使われてきた評価基準自体が次々と陳腐化しています。研究者たちは能力を測るためではなく、人間がまだ優位を保っている領域がどこに残されているかを探すために、より過酷な新テストの作成に追われています。

難関ベンチマークの崩壊

振り返れば、AIの進歩は一貫して猛烈でした。2015年に画像分類で人間の基準値を超え、2017年には基本的な読解力、2020年には視覚的推論、2021年には自然言語推論で人間を凌駕しました。

2023年には、高度な認知タスクでも人類に肉薄しています。競技数学レベルの難問1万2500問を集めた「MATH」データセットでは、2021年時点でAIの正答率はわずか6.9パーセントでした。それが2023年にはGPT-4ベースのモデルが84.3パーセントを記録し、人間のベースラインである90パーセントの背中に手をかけています。

テーブルの上の猫を見て「飛び降りるかもしれない」「重さに机が耐えられる」と推論するような視覚的常識推論（VCR）でも、スコアは81.60まで上昇し、人間の基準値85に迫りました。画像生成の分野でも、わずか22か月のあいだに落書きレベルから実写と見分けがつかない水準へと劇的な進化を遂げています。

賢い優等生が抱えるアキレス腱

一方で、この優等生は依然として致命的な欠陥を抱えています。それが「ハルシネーション（幻覚）」と真実性の欠如です。

ニューヨークの弁護士がChatGPTの捏造した架空の判例を裁判所に提出して5000ドルの罰金を科された事件のように、誤情報を事実のように語る性質は解消されていません。

人間が誤解しやすい知識を問うベンチマーク「TruthfulQA」において、GPT-4のスコアは0.59でした。2021年のGPT-2と比べれば3倍近い改善を見せているものの、依然として4割近くの場面で誤った知識を真顔で出力してしまう危うさを示しています。

なお、本レポートの集計は2023年末で締め切られています。2024年に入ってから登場したSoraやClaude 3、Devinといった革新的な技術の波は、まだこの数値にすら反映されていません。

なぜ重要か

このレポートが示しているのは、私たちがAIを評価するための「ものさし」を完全に失いつつあるという転換点です。

実務でAIを使うユーザーにとって、基礎的なコード作成や計算、情報の要約といった閉じたタスクにおいて、AIはもはや平均的な人間をはるかに凌駕するパートナーになりました。今すぐ業務に組み込まない手はありません。ただし、TruthfulQAの数値が物語る通り、法務や医療といった失敗が許されない現場では、人間による厳格なファクトチェックなしに全自動で運用するのは極めて危険です。

業界全体に目を向けると、従来のペーパーテスト的なベンチマークで高得点を競い合う時代は終わりを告げました。これからは、複雑で長期にわたるエージェントタスクや、予測不能な環境でどれだけ破綻せずに動けるかという実践力が問われることになります。

私たちは、AIの進化スピードに対して評価指標の開発が完全に周回遅れになっていると考えています。古いテストをどれだけ満点で通過しても、それが真の知能を意味するわけではありません。人間がAIとの適切な付き合い方を見出すためにも、モデル自体の巨大化と同じくらい、真に実効性のある検証基盤の再構築が急務となっています。