OpenAI 推出 GeneBench-Pro：測大模型的生物科研判斷力，GPT-5.6 Sol 通過率不到 30%

跑一段生物資訊學程式碼不難，難的是看到異常資料時，你敢不敢推翻剛寫好的假說。

在真實的計算生物學研究裡，測序成本已經掉成了白菜價，真正的瓶頸變成了分析：資料到處是噪聲，質控該卡在哪個數值、異常樣本要不要剔除、出現偏差到底是生物學訊號還是實驗批次效應。這種被稱為「研究品味」的判斷力，向來是 AI 最容易露怯的地方。

6 月 30 日，OpenAI 正式釋出了研究級評測基準 GeneBench-Pro。它不再考模型背誦生物知識，而是設計了 129 道橫跨統計遺傳學、癌症基因組學和臨床診斷等領域的複雜分析題，專門測試 AI Agent 能否在充滿歧義的真實科研場景中自己做決定。

避開開卷考試的陷阱，用合成數據造考卷

傳統的長流程生物評測經常陷入兩難：用真實歷史資料吧，分析路徑往往不止一條，一個合情合理的閾值微調就可能導致打分失效；如果評測打分太寬鬆，AI 就算中間犯了嚴重邏輯錯誤也能矇混過關。

OpenAI 換了個做法。這 129 道題目的底層資料全部採用合成生成，官方完全掌握底層因果機制，能直接模擬資料生成全過程。這樣既能給出確定的標準答案，又能通過消融實驗驗證：那些看似合理但實際走偏的分析路徑，絕對通不過打分。

出題過程中，官方將其中 82 道題交給了外部領域專家（包括研究生、博士後、產業界科學家和教授）盲審。專家們評估後認為，一個人類專業人員解決其中一道題平均要花 20 到 40 個小時。按每小時 200 美元的人力成本算，單題的人工分析成本就在數千美元。

測試時，AI 會被扔進一個配備標準生物資訊工具棧（如 Python、科學計算庫、PLINK 2.0 等）的獨立工作空間，拿到一段簡要背景、雜亂的資料和最終的目標估計值，剩下的探索全靠自己。

最強模型得分 28.7%，但開源差距被拉大

評測結果很真實地反映了頂尖模型的能力邊界。

OpenAI 自家最強模型 GPT-5.6 Sol 在最高推理等級下拿下了 28.7% 的通過率，開啟 Pro 模式後可以上升到 31.5%。回看最初開發 GeneBench 時，當時的王牌 GPT-5 得分還不足 5%。

思考時間在這裡起到了決定性作用。如果把 GPT-5.6 Sol 壓制在最低推理檔位，它的通過率直接跌落到個位數；而在最高推理檔位，它解出的題目數量接近 GPT-5.2 的 6 倍，消耗的 token 數量卻只有後者的約三分之二左右。

更值得玩味的是模型之間的橫向對比。OpenAI 指出，GPT-5.6、GPT-5.5 與當前領先的開源模型（如 GLM 5.2）在 GeneBench-Pro 上的差距，遠比程式碼基準評測裡看到的要大得多。這說明開源陣營近期的猛烈勢頭可能更多集中在程式設計專項上，一旦進入帶有數量不確定性的科研推理深水區，底座能力的差距就會被放大。

一位參與盲審的專家指出，題目通常混合了專業知識、資料異常和工具選型，大多數 AI Agent 往往敗在「對資料異常不夠謹慎」，例如沒發現樣本的血統交換就直接硬跑流程，沒能像成熟專家那樣閉環推演。

目前 OpenAI 已經在 Hugging Face 上完全開源了 10 個代表性問題，並搭建了互動式網頁供人查閱；後續還會將 50 題的子集提供給第三方評測機構 Artificial Analysis 進行獨立測試。

為什麼重要

我們認為，GeneBench-Pro 最聰明的地方不在於題目有多難，而在於它終於把 AI 評測的標尺從「寫程式碼」挪到了「科學探索決策」。

長期以來，許多團隊把 Agent 擅長寫生信指令碼等同於能夠做科研。但在實際科研中，寫分析程式碼只佔兩成時間，剩下八成都在處理髒資料和反覆質疑結論。GeneBench-Pro 證明了現階段頂尖 AI 哪怕只能獨立解決三成不到的題目，但考慮到單題推理成本只要幾美元，對比人類專家數千美元的時間成本，它已經完全有資格進入實驗室充當高階副駕駛，幫科研人員排查分析流程中的盲點。

不過，這個基準也有它的隱患。題目資料完全依靠已知因果結構合成，雖然解決了評測的客觀性，但也意味著出題團隊的假設決定了世界模型。真實生物世界裡未知的混雜因素和系統性偏差，能不能完全被人工設定的生成過程囊括，目前還要打個問號。

對行業來說，它給一眾卷程式碼評測的大模型潑了盆冷水。程式碼刷分高不代表科研推理過關，隨著 OpenAI 預測該基準可能在今年年底前飽和，接下來前沿模型的軍備競賽，比拼的一定是誰能更早閉環複雜的科研長邏輯鏈。