跳到正文
IFAI

大模型

OpenAI 推出 Control Room:发现安全隐患 35 秒内刹停 AI 作业

首次发布 传播指数 64

OpenAI 推出内部安全系统 Control Room,集中监控其研究基础设施中的模型推理与智能体采样任务。它与失准监控系统协同运作,一旦下达干预指令,35 秒内即可彻底停止模型输出或暂停作业。这是 OpenAI 针对前沿模型训练部署设下的重要安全刹车机制。

OpenAI 推出 Control Room:发现安全隐患 35 秒内刹停 AI 作业
图:en.wikipedia.org

AI 越来越能自主干活,但在它失控狂奔时,人类能不能随时拔掉插头?

OpenAI 拿出了一个给内部研究基础设施准备的中央刹车系统:Control Room。

35 秒内拔掉插头

简单来说,Control Room 把 OpenAI 内部的所有研究推理负载连在了一起,覆盖了模型训练与评估中的智能体采样、数据处理等任务。

它和原有的失准监控系统协同运作。一旦监控发现安全隐患,或者管理人员决定介入,系统可以在下达指令后的 35 秒内,彻底停掉模型输出,或者暂停整个作业。

随着大模型向高自主性的智能体演进,它们开始自己调用工具、进行多步推理。如果模型在采样过程中出现越界或对齐偏差,传统的“等作业跑完再排查”很容易让大量被污染的数据混入训练集。Control Room 要解决的,正是这种运行时的失控风险。

为什么重要

我们认为,OpenAI 这一步走得相当务实。面对越来越复杂的智能体任务,安全防线必须从传统的事后测试,前移到实时的运行监控与强制干预。

把刹车响应时间压缩到 35 秒内,实际上是给大规模分布式集群设立了一个明确的工程控制底线。虽然 Control Room 目前只面向 OpenAI 内部的研究体系,外部开发者暂时用不上,但它给整个前沿模型研发打了个样:追求更强算力和更高自主性的同时,集群底层的紧急制动系统必须是标配。

来源 (3)

  1. [1]
  2. [2]
    @OpenAI(在新标签页打开)讨论x.com
  3. [3]

话题追踪OpenAI 的 AI 安全与治理

这个话题的历次新闻,最新的在上面。

  1. OpenAI 推出 Control Room:发现安全隐患 35 秒内刹停 AI 作业本条
  2. 被解雇研究员发公开信反击:OpenAI安全文化正在经历「寒蝉效应」
  3. OpenAI 核心安全主管离职:发文警告冲刺文化正在破坏 AI 安全
  4. 涉嫌向外部机构泄密:OpenAI 解雇 3 名安全研究员
  5. OpenAI 董事会添新成员:对齐研究专家 Paul Christiano 加入

每日 AI 内容精选