OpenAI 首席科学家警告:AI 恐自我递归进化,需全球安全措施
OpenAI 首席科学家 Jakub Pachocki 发文警告,AI 进展可能很快触发递归式自我迭代,没人为此做好准备。他透露 GPT-6 Astra 对齐表现优于 GPT-5.6 Sol,但思维链监控正逐渐失效。他呼吁采取全球性防护机制,必要时甚至单方面停止算力扩张。
OpenAI 首席科学家 Jakub Pachocki 发文警告,AI 进展可能很快触发递归式自我迭代,没人为此做好准备。他透露 GPT-6 Astra 对齐表现优于 GPT-5.6 Sol,但思维链监控正逐渐失效。他呼吁采取全球性防护机制,必要时甚至单方面停止算力扩张。
阿里通义团队发布推理模型 QwQ-32B-Preview。该模型拥有 325 亿参数,在 AIME 和 MATH 测试中跑赢 OpenAI o1-preview。模型采用 Apache 2.0 协议开源,不过阿里也指出它可能出现意外切换语言或陷入循环等问题。
OpenAI 开源了事实性评测基准 SimpleQA。该数据集包含 4326 个答案固定且唯一的简短事实问题,专为测试前沿模型的幻觉设计,目前 GPT-4o 的得分不到 40%。测试发现,虽然模型具备一定自我评估能力,但普遍存在过度自信的问题。
OpenAI 宣布放宽 Plus 和 Team 用户的 o1 模型使用限制。轻量模型 o1-mini 的限额直接翻了 7 倍,从每周 50 条增加到每天 50 条;成本更高的 o1-preview 也从每周 30 条上调至每周 50 条,让付费用户能更痛快地测试推理能力。
OpenAI 自上周推出具备推理能力的 o1 模型后,开始向试图窥探其隐藏思维链的用户发送警告信甚至威胁封号。o1 在界面中只展示经二道过滤的思考总结,不少用户和安全研究员尝试用提示词注入套取真实过程,甚至输入「reasoning trace」一词就会触发违规警告。