AIベンチマークのEpoch AI、OpenAIからの資金提供開示の遅れで批判

超難関の試験で、特定の受験生が秘密裏に作成費を出し、問題と解答を事前に入手していたとしたら、その試験結果を信じる人はいないでしょう。AIのベンチマーク界でいま、まさにそうした信頼失墜の騒動が起きています。

1月19日の報道によると、AI研究非営利団体のEpoch AIが、専門家向け数学ベンチマーク「FrontierMath」へのOpenAIからの資金提供を長らく開示していなかったとして批判を浴びています。同テストは、OpenAIが次期主力モデル「o3」を発表した際に、その推論能力の高さを誇示するために用いられた中心的な指標でした。

しかし、Epoch AIがこの提携を公表したのは、o3が発表された12月20日のことでした。しかもOpenAIは資金を提供しただけでなく、事前に多数の問題と解答を閲覧できる特権を得ていたのです。

作成者の数学者たちも知らされず

この不透明な運営は、問題作りに協力した数学者たちの反発を招きました。フォーラム「LessWrong」では、外部協力者が不透明なコミュニケーションを批判し、自らの仕事がどのように使われるか事前に知る権利があったと訴えました。

スタンフォード大学の数学博士課程に在籍するCarina Hong氏もXで告発を行いました。深く関与した6人の数学者が、OpenAIによる独占的な事前アクセスを知らされていなかったことを確認したとし、知っていれば作成に参加しなかったと話す者が大半だったと明かしています。

批判に対し、Epoch AIの共同創設者であるTamay Besiroglu氏は「過ちを犯した」と認めました。契約上の制約でo3の発表時期まで公表できなかったと釈明しつつ、作成者への情報開示を譲れない条件として交渉すべきだったと振り返っています。

口頭の約束と未検証のスコア

テストの公正性について、Besiroglu氏は損なわれていないと主張しています。OpenAIとは問題セットをモデルの学習データに使わないという「口頭合意」を交わしており、検証用の非公開データセットも別個に確保していると説明しました。

ところが、事態はさらに混迷を深めました。Epoch AIの主任数学者であるElliot Glazer氏がRedditで、現時点ではOpenAIによるo3のスコアを独自検証できていないと明かしたのです。

Glazer氏は、個人的にはOpenAIのスコアは正当で不正はないと見ているものの、独自の追試が完了するまでは組織として保証できないと述べています。

なぜ重要か

私たちは、この問題がAI評価の独立性と資金調達における構造的な矛盾を浮き彫りにしたと考えています。

モデルの能力向上に伴い、専門家レベルの課題作成には巨額の費用とトップ研究者の時間が必要です。非営利団体が資金を外部に頼らざるを得ない事情は理解できますが、先行アクセスや秘密保持と引き換えに資金を得てしまえば、中立的な評価機関としての信用は失われます。

データ漏洩の防止策が「口頭の合意」にとどまっていた点も、巨額の商業的利益が絡む先端AI競争において甘すぎると言わざるを得ません。

客観的なベンチマークが特定企業のプロモーションツールと疑われれば、業界全体の技術進歩を測る物差しそのものが機能しなくなります。評価機関が透明性を軽視した代償は極めて重いと言えます。