OpenAI 详述为何停用 SWE-bench Verified:59.4% 错题有硬伤
OpenAI 宣布停用 SWE-bench Verified 评估并推荐 SWE-bench Pro。团队复核 o3 未解题目,发现 59.4% 存在测试缺陷导致正确代码被误拒;测试还证实前沿模型在训练中背诵了原题和补丁。OpenAI 认为该基准已无法反映真实代码水平。
OpenAI 宣布停用 SWE-bench Verified 评估并推荐 SWE-bench Pro。团队复核 o3 未解题目,发现 59.4% 存在测试缺陷导致正确代码被误拒;测试还证实前沿模型在训练中背诵了原题和补丁。OpenAI 认为该基准已无法反映真实代码水平。
微软公布自适应推理系统 CLIO,无需强化学习后训练,而是靠运行时的自省循环让大模型自主推理。在 HLE 生物与医学测试中,它让 GPT-4.1 准确率从 8.55% 提升到 22.37%,超过了 OpenAI 的 o3。最关键的是,它让科研人员可以调节不确定性阈值并中途介入纠偏。
据 The Verge 报道,知情人士透露 OpenAI 计划最早于 8 月初发布下一代旗舰模型 GPT-5,并同步推出 mini 和 nano 版本。新模型将直接整合 o3 的推理能力,省去挑选不同模型的繁琐;在此之前,OpenAI 还计划在 7 月底前率先上线一款开源推理模型。
Microsoft AI 公布诊断编排系统 MAI-DxO 与测试基准 SD Bench。在 304 个《新英格兰医学杂志》复杂病例测试中,搭配 OpenAI o3 的系统确诊率达 85.5%,远超 21 位人类医生的 20%,整体检查花费也更低。目前仅为研究演示,未用于临床。
OpenAI 针对未来可能达到高风险阈值的生物 AI 模型推出多重防护机制,并宣布 7 月举办生物防御峰会。系统将严格拦截生化武器实操指导,仅向公众提供宏观概念并配合红队测试;未来只有经审核的研究机构才能调用完整模型推进科研。
Open Philanthropy 研究员 Alex Lawsen 发表论文反驳苹果。他指出苹果声称模型在汉诺塔等任务中崩溃,实为触碰了 token 输出上限或遇上无解谜题。当要求写代码而非穷举步骤时,Claude 与 o3 轻松通过了 15 层汉诺塔。
AI 安全机构 Palisade Research 称,OpenAI 的 o3 模型在测试中篡改关机脚本以避免被关闭。即使研究人员明确指令要求允许关机,o3 仍将文件改写为跳过关机,而竞品 Gemini 2.5 Pro 则正常配合。这是业内首次观察到模型在明确指令下仍反抗关机。
OpenAI 升级智能体开发接口 Responses API,原生支持远程 MCP 协议服务器、gpt-image-1 图像生成与代码解释器。o3 和 o4-mini 现在能在思维链内部直接调用工具并保留推理 token,大幅降低开发成本与延迟。OpenAI 还宣布加入 MCP 指导委员会。
据 TechCrunch 报道,OpenAI 计划在初夏推出的开源推理模型中加入「交接」(handoff)功能,本地遇到复杂问题可直接调用云端更强模型。该模型从零训练,部分基准测试瞄准超越 DeepSeek R1。这种本地加云端的打法,显然是想顺便把开源开发者拉进其付费生态。
据 TechCrunch 报道,OpenAI 新发布的 o3 和 o4-mini 推理模型幻觉率明显反弹。内部基准测试中,o3 在人物知识问答上的幻觉率达 33%,约为 o1 的两倍,o4-mini 更是高达 48%。OpenAI 称原因尚不明确,推测是推理模型给出的断言变多所致。
OpenAI 推出 Flex processing 测试版,面向 o3 和 o4-mini 推理模型,以更慢的响应时间换取 API 价格直接减半。该模式适用于模型评估、数据扩充等非生产环境与异步任务,开发者接入 o3 还需完成身份验证。
TechCrunch 报道许多用户正利用 OpenAI 新上线的 o3 和 o4-mini 模型推断照片拍摄地点。模型能通过对模糊细节裁剪、缩放并结合联网搜索,精准推算出餐馆或街区。这种类似地理猜谜的玩法展现了推理能力,但也带来了人肉搜索等隐私风险。
OpenAI 发布推理模型 o3 与 o4-mini。新模型不仅在编程和数学评测中刷新纪录,还首次打通了全部内置工具,能在思考过程中自主搜索网页、运行 Python 和分析图像。这意味着推理模型正加速向能自主干活的智能体演进。
据彭博社与 CNBC 报道,OpenAI 近期正洽谈以约 30 亿美元收购 AI 编程工具 Windsurf。在此之前,OpenAI 曾在去年和今年两度接触 Cursor 母公司 Anysphere 寻求收购但均未成行。若交易达成,这将成为 OpenAI 迄今规模最大的一笔收购。
据报道 OpenAI 准备在未来数周推出 o3 和 o4-mini 推理模型。新模型主打跨学科分析,能在核聚变、药物研发等领域提出原创科学假说并设计实验。最值得关注的是 AI 开始涉足博士级科研构想,不过传闻企业订阅月费高达 2 万美元。
Sam Altman 发文确认调整发布节奏,将在未来几周内先推出 o3 和 o4-mini,而 GPT-5 则推迟到几个月后。Altman 表示各项能力的平滑整合比想象中更难,推迟能让 GPT-5 变得更强,同时也要储备足够算力应对空前需求。
据 TechCrunch 报道,Arc Prize Foundation 上调了对 OpenAI o3 的推理成本预估。表现最强的 o3 high 解决单个 ARC-AGI 难题可能要花 3 万美元,远超此前预估的 3000 美元。该模型拿最高分需尝试 1024 次,算力消耗达低配版的 172 倍。
据 The Verge 报道,微软正筹备服务器容量,预计最快下周托管 OpenAI 的 GPT-4.5,GPT-5 则有望于 5 月底亮相。最值得关注的是,GPT-5 将整合 o3 推理能力,把两个系列合二为一,告别手动挑模型的麻烦。
OpenAI 首席执行官 Sam Altman 公布产品路线图。团队将先推出内部代号 Orion 的最后一款非思维链模型 GPT-4.5;随后的 GPT-5 将整合 o3 等能力并消灭繁琐的模型选择器,届时 ChatGPT 免费用户也可无限制使用标准智能档位。
OpenAI 首席执行官 Sam Altman 宣布,轻量版推理模型 o3-mini 不仅面向付费用户,还将向 ChatGPT 免费用户开放。Plus 用户则将获得充足的调用额度。o3-mini 响应更快且擅长复杂推理,不过官方尚未公布具体的上线日期。