跳到正文
IFAI

AI科研

OpenAI 推出 LifeSciBench:用 750 項專家任務測 AI 科研能力

首次發布 傳播指數 34

OpenAI 推出生命科學評估基準 LifeSciBench,用於衡量 AI 處理真實科研任務的能力。該基準由 173 位博士級科學家編寫,包含 750 項跨領域任務與 1062 份實驗附件。測試表明前沿模型擅長科學總結與溝通,但在精細實驗設計與序列生成上仍顯吃力。

OpenAI 推出 LifeSciBench:用 750 項專家任務測 AI 科研能力
圖:openai.com

讓大模型背誦生物學名詞或者解答單選題,現在的 AI 幾乎都能拿高分。但如果把一張複雜的蛋白質凝膠電泳圖、一段未清洗的測序序列和幾十頁的實驗資料丟給它,讓它幫科學家設計下一步的藥物實驗,它還能靠譜嗎?

為了測出 AI 在真實科研環境裡的底細,OpenAI 正式釋出了名為 LifeSciBench 的全新基準測試。與以往那些只有標準選擇題的測試不同,這套題目專門用來評估 AI 能否像真正的博士級科研人員那樣,處理複雜的生命科學研發任務。

173 位博士出題,平均一道題摳 25 條評分標準

生命科學的研發從來不是簡單的查資料。真實的科研人員每天面對的都是殘缺的資料、彼此衝突的實驗結果,以及充滿不確定性的臨床前轉化風險。

OpenAI 找來了 173 位擁有博士學位、並且在生物醫藥產業有實際藥物研發經驗的科學家來編寫考卷。他們把科研人員最常用的工作流拆解成證據處理、分析、設計與最佳化、科學推理、驗證與操作、轉化醫學以及科學溝通 7 個大類,最終設計出 750 道專業任務。

這套題目的難度很硬核。整套測試附帶了 1062 份檔案附件,包括圖表、PDF、資料表、基因序列檔案和化學分子結構。其中 79% 的任務需要模型進行多步推理或決策,平均每道題要走 4 個思考步驟;超過一半的題目必須結合附件資料才能回答。

打分機制也更接近現實中的同行評審。每道題都有定製的詳細評分細則,總共包含 19020 條細則,平均每道題有 25 項評判點。一道題哪怕結論大體對了,但如果漏掉了某個關鍵的實驗侷限性,或者沒能指出潛藏的生物學風險,一樣拿不到滿分。OpenAI 還找了 453 位沒參與出題的外部博士專家進行獨立稽核,這些專家的平均從業年限長達 12 年,對題目的認可度超過 96%。

懂溝通的科研助理,但還做不了嚴謹的溼實驗設計

測試結果展現出大模型在科學領域的巨大反差。

OpenAI 測試了 GPT-5.5 以及專門針對科研場景最佳化的 GPT-Rosalind。在綜合通過率上,GPT-Rosalind 從 GPT-5.5 的 25.7% 提升到了 36.1%。

模型進步最明顯的地方在於溝通和轉化醫學。GPT-Rosalind 在科學溝通分類下的通過率達到 71.1%,在轉化醫學(把臨床前研究推向臨床)上的通過率也從 36.8% 漲到了 57.7%。這意味著模型在整理分散的證據、撰寫給專家看的研究闡述,以及把實驗室資料與臨床意義串聯起來時,已經有模有樣。

但一碰到硬碰硬的實操設計,模型就容易翻車。在設計、最佳化與預測工作流中,GPT-Rosalind 的通過率只有 30.7%。在面對複雜附件時,純文本任務通過率有 45.1%,但只要加入圖表或測序檔案,通過率立刻斷崖式跌到 28.1%。

涉及精確數字和分子結構的題目更是重災區。純數字計算任務的通過率僅 14.8%,序列和結構生成的通過率只有 24.0%。對於像 CRISPR 供體設計或 siRNA 設計這類容錯率為零的任務,AI 給出的方案依然無法直接拿去溼實驗裡用。

為什麼重要

這套基準測試最重要的價值,是終於戳破了大模型在生物醫藥領域的虛火。

對於生物醫藥領域的研發團隊來說,這指明瞭當前使用 AI 的合理邊界。現在你可以放心地把 AI 當作文獻調研、開題整理和撰寫研究報告的同行助手,但如果你想指望它直接輸出精確的質粒構建體或寡核苷酸序列,大機率會浪費昂貴的試劑。值不值得現在用?值得,但必須嚴格把它限制在幹實驗的論證階段。

從行業競爭來看,OpenAI 這次做得很聰明。它不再去卷那些已經被刷爆的學術常識題,而是把戰場直接搬到了藥企的真實工作流裡。這會倒逼 Anthropic 和 Google 等對手拿出針對複雜專業多模態、長程推理鏈條的評測體系。未來的模型競爭,比拼的不再是簡單的上下文視窗大小,而是能不能看懂複雜的蛋白質圖譜並做精確計算。

我們認為,LifeSciBench 暴露的核心軟肋,其實是當前多模態大模型對精密科學符號和圖表的解析依然脆弱。在科研決策中,90% 的合理推理如果配上 10% 的計算失誤,結果可能就是數百萬美元實驗經費的沉沒。如何讓大模型真正掌握嚴謹的確定性計算,將是 AI 切入深水區研發必須跨過的下一道坎。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選