OpenAI 推出 LifeSciBench:用 750 项专家任务测 AI 科研能力
OpenAI 推出生命科学评估基准 LifeSciBench,用于衡量 AI 处理真实科研任务的能力。该基准由 173 位博士级科学家编写,包含 750 项跨领域任务与 1062 份实验附件。测试表明前沿模型擅长科学总结与沟通,但在精细实验设计与序列生成上仍显吃力。

让大模型背诵生物学名词或者解答单选题,现在的 AI 几乎都能拿高分。但如果把一张复杂的蛋白质凝胶电泳图、一段未清洗的测序序列和几十页的实验数据丢给它,让它帮科学家设计下一步的药物实验,它还能靠谱吗?
为了测出 AI 在真实科研环境里的底细,OpenAI 正式发布了名为 LifeSciBench 的全新基准测试。与以往那些只有标准选择题的测试不同,这套题目专门用来评估 AI 能否像真正的博士级科研人员那样,处理复杂的生命科学研发任务。
173 位博士出题,平均一道题抠 25 条评分标准
生命科学的研发从来不是简单的查资料。真实的科研人员每天面对的都是残缺的数据、彼此冲突的实验结果,以及充满不确定性的临床前转化风险。
OpenAI 找来了 173 位拥有博士学位、并且在生物医药产业有实际药物研发经验的科学家来编写考卷。他们把科研人员最常用的工作流拆解成证据处理、分析、设计与优化、科学推理、验证与操作、转化医学以及科学沟通 7 个大类,最终设计出 750 道专业任务。
这套题目的难度很硬核。整套测试附带了 1062 份文件附件,包括图表、PDF、数据表、基因序列文件和化学分子结构。其中 79% 的任务需要模型进行多步推理或决策,平均每道题要走 4 个思考步骤;超过一半的题目必须结合附件数据才能回答。
打分机制也更接近现实中的同行评审。每道题都有定制的详细评分细则,总共包含 19020 条细则,平均每道题有 25 项评判点。一道题哪怕结论大体对了,但如果漏掉了某个关键的实验局限性,或者没能指出潜藏的生物学风险,一样拿不到满分。OpenAI 还找了 453 位没参与出题的外部博士专家进行独立审核,这些专家的平均从业年限长达 12 年,对题目的认可度超过 96%。
懂沟通的科研助理,但还做不了严谨的湿实验设计
测试结果展现出大模型在科学领域的巨大反差。
OpenAI 测试了 GPT-5.5 以及专门针对科研场景优化的 GPT-Rosalind。在综合通过率上,GPT-Rosalind 从 GPT-5.5 的 25.7% 提升到了 36.1%。
模型进步最明显的地方在于沟通和转化医学。GPT-Rosalind 在科学沟通分类下的通过率达到 71.1%,在转化医学(把临床前研究推向临床)上的通过率也从 36.8% 涨到了 57.7%。这意味着模型在整理分散的证据、撰写给专家看的研究阐述,以及把实验室数据与临床意义串联起来时,已经有模有样。
但一碰到硬碰硬的实操设计,模型就容易翻车。在设计、优化与预测工作流中,GPT-Rosalind 的通过率只有 30.7%。在面对复杂附件时,纯文本任务通过率有 45.1%,但只要加入图表或测序文件,通过率立刻断崖式跌到 28.1%。
涉及精确数字和分子结构的题目更是重灾区。纯数字计算任务的通过率仅 14.8%,序列和结构生成的通过率只有 24.0%。对于像 CRISPR 供体设计或 siRNA 设计这类容错率为零的任务,AI 给出的方案依然无法直接拿去湿实验里用。
为什么重要
这套基准测试最重要的价值,是终于戳破了大模型在生物医药领域的虚火。
对于生物医药领域的研发团队来说,这指明了当前使用 AI 的合理边界。现在你可以放心地把 AI 当作文献调研、开题整理和撰写研究报告的同行助手,但如果你想指望它直接输出精确的质粒构建体或寡核苷酸序列,大概率会浪费昂贵的试剂。值不值得现在用?值得,但必须严格把它限制在干实验的论证阶段。
从行业竞争来看,OpenAI 这次做得很聪明。它不再去卷那些已经被刷爆的学术常识题,而是把战场直接搬到了药企的真实工作流里。这会倒逼 Anthropic 和 Google 等对手拿出针对复杂专业多模态、长程推理链条的评测体系。未来的模型竞争,比拼的不再是简单的上下文窗口大小,而是能不能看懂复杂的蛋白质图谱并做精确计算。
我们认为,LifeSciBench 暴露的核心软肋,其实是当前多模态大模型对精密科学符号和图表的解析依然脆弱。在科研决策中,90% 的合理推理如果配上 10% 的计算失误,结果可能就是数百万美元实验经费的沉没。如何让大模型真正掌握严谨的确定性计算,将是 AI 切入深水区研发必须跨过的下一道坎。
来源 (1)
- openai.com(在新标签页打开)原文openai.com