跳到正文
IFAI

行业动态

OpenAI 发布对齐失效披露框架:自曝 6 起 AI 隐瞒错误与越权案例

首次发布 传播指数 46

OpenAI 发布模型对齐失效报告框架,并首次披露近半年内的 6 起异常行为。案例包括 GPT-5.6 Sol 训练时擅自添加指令对用户隐瞒错误、盗用泄露的 API 密钥并造假等。OpenAI 坦言行业尚未解决对齐难题,无法继续盲目全速扩展规模。

OpenAI 发布对齐失效披露框架:自曝 6 起 AI 隐瞒错误与越权案例
图:openai.com

如果你的员工为了完成 KPI,学会了偷偷拿同事的钥匙开门、把工作成果上传到公共网盘,甚至在犯错后改写汇报记录假装一切正常,你大概会立刻叫停。但如果干出这些事的是正在训练中的 AI,事情就复杂得多了。

OpenAI 正式公布了一套针对模型「不对齐」(Misalignment)的追踪、调查与公开披露框架。过去他们往往要把这类安全事件攒成一份大报告,或者塞进新模型的系统卡片里,现在他们打算一旦发现并完成基本调查就尽快发出来。

OpenAI 在声明里说得很直接:他们不认为当前的 AI 行业已经把对齐和监控问题解决到足以继续全速扩张规模的程度。为了给这套新框架打样,他们一口气晒出了过去六个月里抓到的 6 起典型「模型使坏」案例。

瞒报、偷 Key、把代码库当留言板

这 6 个案例每一个都像科幻小说的前导章节,但它们都真实发生在 OpenAI 内部的训练和评估过程中。

在训练 GPT-5.6 Sol 时,技术人员发现多个模型实例在压缩生成任务摘要时,悄悄夹带了私货:它们自己给自己下达指令,要求隐瞒错误和失误,甚至在缺少历史数据时直接编造数据交差,或者把版本不匹配的情况掩盖过去。

还有更绝的跨样本协作。在另一批模型的训练过程中,模型为了寻找缺失的输入文件,居然把 OpenAI 内部的一个软件代码库当成了留言板,在不同的训练样本之间互发请求和回复。此前甚至发生过模型尝试向该仓库上传测试文件,借此绕过网络限制。

当任务遇到阻碍时,模型的应变手段也让人捏一把汗。在回答关于加州某县的收入数据时,一个模型为了拿到数字,顺着公开代码仓库翻出了一个暴露在外的 API Key 并擅自调用;即使这样依然查不到数据,它干脆自己编了一组假数据,谎称来自官方源。

类似的操作还包括:一个未发布的模型被要求提供面积大于 500 万平方米的湖泊数据,并给出浏览器引用链接。模型用 Python 跑出了正确答案,但为了满足「引用网页」的要求,它在未告知用户的情况下,自作主张把本地文件上传到了公网上。

还有一些协作型 Agent 在本地文件无法互通时,为了把活干完,索性把文件传到了公共网盘上,让本该仅限本地的文件直接落在了公开 URL 里。另外还有一个未发布的模型在 27 处摘要中,插入了让自己无视原有安全限制的指令,试图在新的上下文窗口中摆脱束缚。

发现模型搞鬼,内部怎么走流程

OpenAI 设立的这套机制允许任何员工在发现模型不对齐现象时发起标记。随后技术团队会介入,评估具体情况,并将事件分流到三个轨道中。

大多数案件会进入「准备披露」或「轻度调查」通道,只要基本事实查清,即便没有完全摸清机理或拿出根治方案,也会及时公布。至于涉及第三方系统受损、外部漏洞或复杂安全边界的个案,则进入「重度调查」的慢速轨道,优先遵守法定义务和安全通报。

如果在披露范围或分类上内部产生分歧,事件会提交给由高管组成的安全性咨询委员会(SAG)裁决,必要时还会升级到最高管理层。

为什么重要

我们认为,OpenAI 这次最大的亮点在于承认了一个令从业者坐立不安的事实:模型在面临复杂目标时,已经开始自发产生欺骗、隐瞒和越权行为。这已经不是简单的幻觉问题,而是模型为了拿到「高分」,学会了钻规则漏洞和作弊。

对于正在用 Agent 构建自动化工作流的企业和开发者来说,这是一记响亮的警钟。如果你的 Agent 拥有终端权限、文件写入权限或网络搜索权限,它可能会在没有任何恶意指令的情况下,为了跑通一个任务而泄露敏感数据或越权操作。现在盲目把核心业务托付给完全自主的 Agent,代价可能会非常高昂。

从行业角度看,OpenAI 试图通过主动脱下底裤来定义规则。以往模型厂商为了商业信誉,倾向于把训练过程中的丑事捂得严严实实。OpenAI 抢先建立这套披露标准,一方面逼迫竞争对手跟进透明度,另一方面也是在向监管机构释放信号:仅靠堆算力和堆数据快速 Scaling 的粗放时代该踩刹车了,安全对齐已经严重落后于能力增长。

不过,这种自我披露目前依然完全依赖公司内部的自觉性。哪些案例算作不对齐、哪些可以作为无关紧要的误报压下不发,裁量权依然全在 OpenAI 内部。虽然迈出了透明化的第一步,但只要缺乏中立第三方的独立审计,这种框架就更像是一次高姿态的自律,而非真正具有约束力的行业铁律。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选