LLM 预测神经科学实验准确率达 81%:反超人类专家
Xiaoliang Luo 等学者发表研究,表明大语言模型预测神经科学实验阳性结果的准确率达到 81%,超过人类专家的 64%。团队仅使用 70 亿参数的类 GPT-3.5 模型,经神经科学文献微调后表现进一步提升,能帮助科研人员收窄研究方向。

科学实验最折磨人的地方,莫过于辛辛苦苦耗费数月甚至几年,最后发现假设根本不成立。
最近 Xiaoliang Luo 和同事的一项新研究显示,大语言模型在预测神经科学实验能否得出阳性结果时,准确率已经超过了人类专家。在测试中,模型的预测准确率达到了 81%,而人类专家的准确率只有 64%。
7B 小模型靠专业文献逆袭
出人意料的是,研究人员并没有调用顶尖的庞大模型,而是选用了一个 70 亿参数、大致相当于 GPT-3.5 级别的小模型。
研究团队利用神经科学领域的学术文献对这个 7B 模型进行了微调,结果发现它的预测表现进一步提升。它不仅能判断某个实验会不会得出预期成果,还能帮科研人员排查哪些研究方向更值得投入精力。
为什么重要
神经科学实验的门槛和耗费极高,如果 AI 能在立项前充当参谋,帮实验室筛掉那些大概率走不通的死胡同,科研资源的利用效率会大幅提升。
我们觉得这项研究最聪明的地方在于模型选型。研究团队没有盲目追求大参数,而是证明了 7B 级别的小模型只要喂透垂直领域的专业文献,就能在专业判断上跑赢人类专家,这给预算有限的科研团队指了一条低成本落地的路。
但这里也有隐患。模型判断的是实验能否得出阳性结论,如果科研人员过度依赖 AI 来挑实验,看起来很容易陷入保守思维,只挑稳妥的做,反而可能扼杀那些在意外和失败中诞生的颠覆性突破。
来源 (1)
- aimodels.substack.com(在新标签页打开)原文aimodels.substack.com