OpenAI 推出 Control Room:发现安全隐患 35 秒内刹停 AI 作业
OpenAI 推出内部安全系统 Control Room,集中监控其研究基础设施中的模型推理与智能体采样任务。它与失准监控系统协同运作,一旦下达干预指令,35 秒内即可彻底停止模型输出或暂停作业。这是 OpenAI 针对前沿模型训练部署设下的重要安全刹车机制。

AI 越来越能自主干活,但在它失控狂奔时,人类能不能随时拔掉插头?
OpenAI 拿出了一个给内部研究基础设施准备的中央刹车系统:Control Room。
35 秒内拔掉插头
简单来说,Control Room 把 OpenAI 内部的所有研究推理负载连在了一起,覆盖了模型训练与评估中的智能体采样、数据处理等任务。
它和原有的失准监控系统协同运作。一旦监控发现安全隐患,或者管理人员决定介入,系统可以在下达指令后的 35 秒内,彻底停掉模型输出,或者暂停整个作业。
随着大模型向高自主性的智能体演进,它们开始自己调用工具、进行多步推理。如果模型在采样过程中出现越界或对齐偏差,传统的“等作业跑完再排查”很容易让大量被污染的数据混入训练集。Control Room 要解决的,正是这种运行时的失控风险。
为什么重要
我们认为,OpenAI 这一步走得相当务实。面对越来越复杂的智能体任务,安全防线必须从传统的事后测试,前移到实时的运行监控与强制干预。
把刹车响应时间压缩到 35 秒内,实际上是给大规模分布式集群设立了一个明确的工程控制底线。虽然 Control Room 目前只面向 OpenAI 内部的研究体系,外部开发者暂时用不上,但它给整个前沿模型研发打了个样:追求更强算力和更高自主性的同时,集群底层的紧急制动系统必须是标配。
来源 (3)
- @OpenAI(在新标签页打开)讨论x.com
话题追踪OpenAI 的 AI 安全与治理
- OpenAI 推出 Control Room:发现安全隐患 35 秒内刹停 AI 作业本条
- 被解雇研究员发公开信反击:OpenAI安全文化正在经历「寒蝉效应」
- OpenAI 核心安全主管离职:发文警告冲刺文化正在破坏 AI 安全
- 涉嫌向外部机构泄密:OpenAI 解雇 3 名安全研究员
- OpenAI 董事会添新成员:对齐研究专家 Paul Christiano 加入