OpenAI、実務評価の新基準「GDPval」公開　44職種でAI能力を検証

AIモデルが難解な数学オリンピックの難問を解いたというニュースには、誰もが聞き飽きてきています。多くのビジネスパーソンにとって本当に重要なのは、日々のデスクワークで発生する泥臭い実務をどこまで肩代わりできるかです。

OpenAIは9月25日、実世界の経済的価値を持つタスクにおけるAIの能力を測定する新ベンチマーク「GDPval」を発表しました。米国の44の職種を対象に、実際の業務成果物をどれだけ高品質に作成できるかを評価します。

44職種、1,320の実務タスクで検証

これまでのMMLUのような学術試験型ベンチマークとは異なり、GDPvalは米国の国内総生産（GDP）に直結する産業から設計されています。

セントルイス連邦準備銀行のデータを基に、米国のGDPに5%以上寄与している上位9産業を抽出。さらに米労働統計局（BLS）の2024年5月の雇用データを使い、賃金総額が大きく知識労働が中心となる職業を絞り込みました。労働省のO*NETデータで身体的労働を伴わないタスクが60%以上を占める職種を選定した結果、最終的に44の職業がリストアップされました。

対象にはソフトウェア開発者や弁護士、会計士だけでなく、正看護師、機械エンジニア、不動産仲介業者、ニュース記者、私立探偵なども含まれます。評価セットには1,320の専門タスクが含まれ、そのうち220タスクがゴールドデータセットとしてオープンソース化されています。

タスクは単なるテキスト入力ではなく、参考資料や前提条件が付属しており、成果物も法的準備書面、設計図、看護計画、スプレッドシート、プレゼン資料など多岐にわたります。作成には平均実務経験14年以上の専門家が参加し、1つのタスクにつき平均5回の査読を経て選定されました。

人間とのブラインドテストと自動評価ツール

評価にあたっては、同じ職種の現役専門家によるブラインド審査が採用されました。人間が作った成果物とAIが作った成果物を、どちらが生成したか分からない状態で比較し、「より優れている」「同等」「劣っている」の3段階で判定します。

テスト対象にはOpenAIのGPT-4o、o4-mini、o3、GPT-5に加え、Claude Opus 4.1、Gemini 2.5 Pro、Grok 4といった他社の主要モデルも網羅されています。

また、専門家の判断傾向を模倣する「自動評価AI」も開発され、evals.openai.comで実験的サービスとして公開されました。ただし、現時点では人間の専門家ほどの信頼性はないため、人間の審査を完全に置き換えるものではないとしています。

最大の制約は、現在のGDPvalが1回の指示で成果物を出力させる「ワンショット評価」に限定されている点です。実際の業務で行われるようなフィードバックや複数回の下書き作成といった対話的プロセスは含まれておらず、OpenAIは今後のバージョンで対応する予定だと述べています。

なぜ重要か

私たちは、GDPvalの登場がAIベンチマークの主戦場を「学術試験」から「経済的実用性」へと大きく転換させる契機になると考えています。

これまでモデル性能のアピールに使われてきた試験スコアは、企業の現場導入の判断材料としてはあまりに乖離していました。GDPvalが提示した44の職種に該当する専門職にとっては、自分たちの業務がどこまでAIで代替または補助できるかを現実的に見極める格好の指標になります。ただし、現時点ではワンショット出力の評価にとどまるため、実務で不可欠な推敲や社内調整のプロセスが考慮されていない点には注意が必要です。

業界の競争という観点では、OpenAIが「実用的なAGI」の定義を他社に先駆けて主導しにかかった格好です。GDP寄与度と労働統計を組み合わせて説得力を持たせる手法は非常に巧みで、AnthropicやGoogleも同様の実務的ベンチマークでの成果提示を迫られることになります。

一方で、知識労働の価値を「成果物の出来栄え」だけで判定することには危うさもあります。実務の現場では、同僚とのすり合わせや状況の変化に応じた柔軟な判断こそが重要であり、単発のレポート作成能力だけで職務全体のAI移行を判断するのは時期尚早だと考えられます。