LLM 預測神經科學實驗準確率達 81%:反超人類專家
Xiaoliang Luo 等學者發表研究,表明大語言模型預測神經科學實驗陽性結果的準確率達到 81%,超過人類專家的 64%。團隊僅使用 70 億引數的類 GPT-3.5 模型,經神經科學文獻微調後表現進一步提升,能幫助科研人員收窄研究方向。

科學實驗最折磨人的地方,莫過於辛辛苦苦耗費數月甚至幾年,最後發現假設根本不成立。
最近 Xiaoliang Luo 和同事的一項新研究顯示,大語言模型在預測神經科學實驗能否得出陽性結果時,準確率已經超過了人類專家。在測試中,模型的預測準確率達到了 81%,而人類專家的準確率只有 64%。
7B 小模型靠專業文獻逆襲
出人意料的是,研究人員並沒有呼叫頂尖的龐大模型,而是選用了一個 70 億引數、大致相當於 GPT-3.5 級別的小模型。
研究團隊利用神經科學領域的學術文獻對這個 7B 模型進行了微調,結果發現它的預測表現進一步提升。它不僅能判斷某個實驗會不會得出預期成果,還能幫科研人員排查哪些研究方向更值得投入精力。
為什麼重要
神經科學實驗的門檻和耗費極高,如果 AI 能在立項前充當參謀,幫實驗室篩掉那些大機率走不通的死衚衕,科研資源的利用效率會大幅提升。
我們覺得這項研究最聰明的地方在於模型選型。研究團隊沒有盲目追求大引數,而是證明了 7B 級別的小模型只要喂透垂直領域的專業文獻,就能在專業判斷上跑贏人類專家,這給預算有限的科研團隊指了一條低成本落地的路。
但這裡也有隱患。模型判斷的是實驗能否得出陽性結論,如果科研人員過度依賴 AI 來挑實驗,看起來很容易陷入保守思維,只挑穩妥的做,反而可能扼殺那些在意外和失敗中誕生的顛覆性突破。
來源 (1)
- aimodels.substack.com(在新分頁開啟)原文aimodels.substack.com