UCバークレーの新AI評価「ALE」公開：GPT-5.5がClaude Fable 5を抑えて首位に

ベンチマークで満点に近いスコアを叩き出すAIでも、実際の現場で使う専門ソフトウェアを渡された途端に立ち往生してしまうのが現状です。

カリフォルニア大学バークレー校の責任ある分散型インテリジェンスセンター（RDI）は、300人以上の専門家と共同で新たな評価ベンチマーク「Agents' Last Exam（ALE）」を公開しました。55分野に及ぶ実務ワークフローをAIが自律的に完遂できるかを測定する過酷なテストです。

リーダーボードの初結果は波乱の展開となりました。4月に登場したOpenAIの「GPT-5.5」（Codex harness経由）が合格率24.0%で首位を獲得。昨日発表されたばかりのAnthropicの最新モデル「Claude Fable 5」は22.0%にとどまり、3位という結果になりました。

カンニングを排除し、実ソフトのGUIを操作させる

これまでのSWE-Bench Proなどの評価では、自動採点機の誤判定や、Gitのコミットログから答えを拾い読みして「カンニング」するモデルの存在が問題視されていました。

ALEはこうした抜け道を塞ぐため、推論（Brain）、視覚（Eyes）、統合（Body）、ツール呼び出し（Hands）、実行基盤（Feet）の5層からなる汎用コンピュータ利用エージェント枠組みを採用しました。黒い画面のターミナル操作だけでなく、仮想環境内のデスクトップソフトウェアを視覚情報とクリックで操作させます。

用意された課題は1490件で、Siemens NXでの3Dモデリング、Unreal Engineでのシーン構築、FSLeyesによる神経画像解析、Adobe After EffectsでのVFX合成など、本物の業務履歴から作成されています。

採点方法も厳格です。評価がブレやすいLLMによる判定は全体の6.8%に抑え、残りは専門家の成果物と比較する確定的なコードベース検証を行っています。テスト漏洩を防ぐため、公開データセットは約10%にとどめ、残る1300件以上は非公開で定期的に入れ替える運用をとっています。

最難関レベルでは全モデルが「0点」

首位のGPT-5.5でも合格率はわずか24.0%に過ぎず、全体として見れば人間レベルには程遠い状態です。

第三者の分析によると、OpenAI製モデルは複数ステップからなる複雑な指示を忠実に守り続ける点で優れているとされます。一方、Claude系は長丁場の作業の途中で必要な手順を失念する傾向があり、それが失点につながりました。

さらに、最も難易度が高い「Last-Exam」枠では、AnthropicのClaude Opus 4.8やGoogleのGemini CLIを含む大半の構成が合格率0.0%を記録しました。高度な専門業務において、現在のAIはまだ入り口にすら立っていません。

なぜ重要か

実務でAIエージェントの導入を検討している企業にとって、ALEの結果は冷静な判断材料になります。専門ソフトを使った複雑な業務をAIに丸投げできる段階にはまったく到達しておらず、現時点で業務を代替させるのは非現実的です。

業界全体にとっても、開発競争の焦点が「閉じたコーディング問題」から「本物のGUIと長時間のタスク維持」へと移るきっかけになります。OpenAIの既存モデルがAnthropicの最新鋭モデルを抑えた事実は、単発の賢さよりも指示を忘れない粘り強さがエージェント性能を左右することを示しています。

ALEのアプローチで特に秀逸なのは、課題の9割を非公開にして定期ローテーションさせ、LLM採点をほぼ排除した点です。テスト対策による見かけ上のスコアアップを無力化し、AIの真の実力不足を白日の下に晒した意義は極めて大きいと私たちは考えます。