跳到正文
IFAI

產業動態

Epoch AI 遲報 OpenAI 資助:數學基準遭質疑,貢獻者不知情

首次發布 傳播指數 42

AI 評測機構 Epoch AI 因推遲披露接受 OpenAI 資助開發數學基準 FrontierMath 而引發爭議。該測試曾用於展示 OpenAI 旗艦模型 o3,但多位編寫題目的數學家事前對資助以及 OpenAI 提前檢視題目的特權完全不知情。

Epoch AI 遲報 OpenAI 資助:數學基準遭質疑,貢獻者不知情
圖:techcrunch.com

如果一場高難度考試的出卷人暗中接受了某位考生的資助,還讓這位考生提前把卷子和答案翻了個遍,這門考試的結果大概沒人敢信。眼下,AI 圈的頂級基準測試就捲入了這樣一場信譽危機。

1 月 19 日據外媒報道,AI 評測非營利機構 Epoch AI 遲遲未公開接受 OpenAI 資助一事,在社群引發軒然大波。爭議的核心在於其開發的專家級數學基準 FrontierMath。OpenAI 在去年底大張旗鼓展示新旗艦模型 o3 時,正是拿它在這套考卷上的驚人表現作為最大賣點。

問題在於,直到 12 月 20 日 o3 亮相當天,Epoch AI 才正式披露 OpenAI 不僅出資支援了 FrontierMath 的開發,還提前掌握了大量題目與解答。

題庫貢獻者全被矇在鼓裡

這番遲到的坦白迅速引來內部反彈。在論壇 LessWrong 上,一位化名為 Meemi 的 Epoch AI 外包人員發帖指責專案溝通極不透明,認為出題人員有權在知曉成果用途的前提下決定是否接單。

斯坦福大學數學博士生 Carina Hong 也在社交平臺 X 上公開爆料。她表示,已有 6 位為 FrontierMath 做出重大貢獻的數學家向她證實,他們此前對 OpenAI 擁有該基準的獨佔特權完全不知情。其中多數人明確表態,如果當初知道有這層內幕,很可能根本不會參與出題。

面對輿論壓力,Epoch AI 聯合創始人兼副主任 Tamay Besiroglu 承認機構確實「犯了錯」。他解釋說,合同限制了公開合作的時機,直到 o3 釋出前後才被允許披露。但他坦承,團隊本該在談判時態度更強硬,將對貢獻者的透明度作為不可退讓的條款。

口頭協議與未驗證的跑分

為了挽回公信力,Besiroglu 堅稱評測的客觀性沒有受損。他透露,雖然 OpenAI 提前看到了題目,但雙方有一項「口頭協議」,約束 OpenAI 不得將 FrontierMath 的題目用於日常模型訓練,也就是防止「對著考卷背答案」。此外,Epoch AI 還保留了一套從未公開的隔離測試集用於獨立驗證。

然而,這番澄清很快被自家首席數學家潑了一盆冷水。Elliot Glazer 隨後在 Reddit 上發帖透露,Epoch AI 迄今為止尚未獨立驗證過 OpenAI o3 的 FrontierMath 成績。

Glazer 表示,他個人傾向於相信 OpenAI 的分數屬實,且對方沒有動力在內部測試中造假,但在機構完成獨立的驗證流程之前,他們無法為這一成績做出擔保。

為什麼重要

在我們看來,這起風波直接戳中了當下 AI 評測最脆弱的軟肋:獨立性與資金來源的天然衝突。

要設計出足以難倒前沿大模型的專家級考卷,需要僱傭頂尖學者投入大量腦力,成本極其昂貴。非營利研究機構缺錢,轉向巨頭尋求贊助本無可厚非,但以「提前看題」和「保密協議」作為交換代價,無異於直接透支了基準本身的公正性。

更讓人難以接受的是所謂的防作弊機制居然依託於「口頭協議」。在前沿模型商業利益數以十億美元計的競爭中,僅憑君子協定就指望大廠不在預訓練或微調中汙染資料,在外界看來未免過於天真。

對於開發者和行業而言,如果權威基準在公信力上打了折扣,巨頭髮布的跑分宣傳就會退化為單純的公關自嗨。這起事件給所有評測機構提了個醒:向大廠拿錢可以,但一旦讓出獨家特權、剝奪出題者的知情權,丟掉的就是整個社群的信任底線。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選