OpenAI 推出 GeneBench-Pro：测大模型的生物科研判断力，GPT-5.6 Sol 通过率不到 30%

跑一段生物信息学代码不难，难的是看到异常数据时，你敢不敢推翻刚写好的假说。

在真实的计算生物学研究里，测序成本已经掉成了白菜价，真正的瓶颈变成了分析：数据到处是噪声，质控该卡在哪个数值、异常样本要不要剔除、出现偏差到底是生物学信号还是实验批次效应。这种被称为「研究品味」的判断力，向来是 AI 最容易露怯的地方。

6 月 30 日，OpenAI 正式发布了研究级评测基准 GeneBench-Pro。它不再考模型背诵生物知识，而是设计了 129 道横跨统计遗传学、癌症基因组学和临床诊断等领域的复杂分析题，专门测试 AI Agent 能否在充满歧义的真实科研场景中自己做决定。

避开开卷考试的陷阱，用合成数据造考卷

传统的长流程生物评测经常陷入两难：用真实历史数据吧，分析路径往往不止一条，一个合情合理的阈值微调就可能导致打分失效；如果评测打分太宽松，AI 就算中间犯了严重逻辑错误也能蒙混过关。

OpenAI 换了个做法。这 129 道题目的底层数据全部采用合成生成，官方完全掌握底层因果机制，能直接模拟数据生成全过程。这样既能给出确定的标准答案，又能通过消融实验验证：那些看似合理但实际走偏的分析路径，绝对通不过打分。

出题过程中，官方将其中 82 道题交给了外部领域专家（包括研究生、博士后、产业界科学家和教授）盲审。专家们评估后认为，一个人类专业人员解决其中一道题平均要花 20 到 40 个小时。按每小时 200 美元的人力成本算，单题的人工分析成本就在数千美元。

测试时，AI 会被扔进一个配备标准生物信息工具栈（如 Python、科学计算库、PLINK 2.0 等）的独立工作空间，拿到一段简要背景、杂乱的数据和最终的目标估计值，剩下的探索全靠自己。

最强模型得分 28.7%，但开源差距被拉大

评测结果很真实地反映了顶尖模型的能力边界。

OpenAI 自家最强模型 GPT-5.6 Sol 在最高推理等级下拿下了 28.7% 的通过率，开启 Pro 模式后可以上升到 31.5%。回看最初开发 GeneBench 时，当时的王牌 GPT-5 得分还不足 5%。

思考时间在这里起到了决定性作用。如果把 GPT-5.6 Sol 压制在最低推理档位，它的通过率直接跌落到个位数；而在最高推理档位，它解出的题目数量接近 GPT-5.2 的 6 倍，消耗的 token 数量却只有后者的约三分之二左右。

更值得玩味的是模型之间的横向对比。OpenAI 指出，GPT-5.6、GPT-5.5 与当前领先的开源模型（如 GLM 5.2）在 GeneBench-Pro 上的差距，远比代码基准评测里看到的要大得多。这说明开源阵营近期的猛烈势头可能更多集中在编程专项上，一旦进入带有数量不确定性的科研推理深水区，底座能力的差距就会被放大。

一位参与盲审的专家指出，题目通常混合了专业知识、数据异常和工具选型，大多数 AI Agent 往往败在「对数据异常不够谨慎」，例如没发现样本的血统交换就直接硬跑流程，没能像成熟专家那样闭环推演。

目前 OpenAI 已经在 Hugging Face 上完全开源了 10 个代表性问题，并搭建了交互式网页供人查阅；后续还会将 50 题的子集提供给第三方评测机构 Artificial Analysis 进行独立测试。

为什么重要

我们认为，GeneBench-Pro 最聪明的地方不在于题目有多难，而在于它终于把 AI 评测的标尺从「写代码」挪到了「科学探索决策」。

长期以来，许多团队把 Agent 擅长写生信脚本等同于能够做科研。但在实际科研中，写分析代码只占两成时间，剩下八成都在处理脏数据和反复质疑结论。GeneBench-Pro 证明了现阶段顶尖 AI 哪怕只能独立解决三成不到的题目，但考虑到单题推理成本只要几美元，对比人类专家数千美元的时间成本，它已经完全有资格进入实验室充当高阶副驾驶，帮科研人员排查分析流程中的盲点。

不过，这个基准也有它的隐患。题目数据完全依靠已知因果结构合成，虽然解决了评测的客观性，但也意味着出题团队的假设决定了世界模型。真实生物世界里未知的混杂因素和系统性偏差，能不能完全被人工设定的生成过程囊括，目前还要打个问号。

对行业来说，它给一众卷代码评测的大模型泼了盆冷水。代码刷分高不代表科研推理过关，随着 OpenAI 预测该基准可能在今年年底前饱和，接下来前沿模型的军备竞赛，比拼的一定是谁能更早闭环复杂的科研长逻辑链。