探测 o1 推理过程或被封号:OpenAI 发警告信严守「思维链」
OpenAI 自上周推出具备推理能力的 o1 模型后,开始向试图窥探其隐藏思维链的用户发送警告信甚至威胁封号。o1 在界面中只展示经二道过滤的思考总结,不少用户和安全研究员尝试用提示词注入套取真实过程,甚至输入「reasoning trace」一词就会触发违规警告。

越是不让人看的东西,大家越是好奇。上周 OpenAI 刚端出代号「草莓」的 o1 模型,主打会一步步推导思考,结果不少人发现,只要你稍微打听一下它的底层思路,OpenAI 的警告信就直接寄到你的邮箱里了。
甚至有人只是在对话框里打了几个相关词,就收到了封号警告。
看到的是思考,其实是精装修二手房
以往的 GPT-4o 是张口就答,而 o1-preview 和 o1-mini 会在回答前先自我推导一番。在 ChatGPT 界面里,你确实能点开那个思考过程。
但很多人不知道的是,你在屏幕上看到的并不是模型最原始的思维链。OpenAI 在后台安排了第二个模型,专门把原始的思考草稿清洗了一遍,只给你看过滤后的精简版摘要。
极客和安全研究员们显然不满足于看二手转述,各种越狱提示词和注入手段立刻轮番上阵,都想套出 o1 最底层的原生思考痕迹。
提一句「思考轨迹」就被盯上了
这番刺探迅速引来了官方的反击。OpenAI 正通过后台严密监控这类测试,而且下手相当重。
Scale AI 的提示词工程师 Riley Goodside 以及多位网友证实,只要在提问时带上「reasoning trace」(思考轨迹)等敏感字眼,或者试图诱导它解释思考逻辑,系统就会触发警报。
随后用户就会收到官方发来的警告邮件,措辞十分严厉,称相关请求试图绕过安全防护措施。邮件警告称,如果再次违规,账号将被剥夺「带推理能力的 GPT-4o」的使用权限,也就是 o1 的内部代号。
负责 Mozilla 生成式 AI 漏洞赏金项目的安全研究员 Marco Figueroa 也晒出了警告信。他抱怨说,自己只是在做常规的安全红队测试,结果一转头就被官方列入了拟封禁名单。
为什么重要
对开发者和安全研究人员来说,现在去硬探 o1 的底层逻辑风险极高。只要提示词踩线,你可能直接失去新模型的测试资格,正常的红队演练都被迫放慢了节奏。
这件事情反映出模型厂商的一个全新困境。OpenAI 既想用透明的思维过程作为核心卖点,又不敢把底牌完全亮给外界。底层的思维链里不仅藏着模型未脱敏的商业机密和训练套路,也可能包含未过滤的危险推理细节。
我们认为,OpenAI 这种直接发封号警告的做法显得过于敏感和粗暴。用一个 AI 去粉饰另一个 AI 的思考过程本身无可厚非,但如果连正常的安全探测和学术好奇都要用封号来压制,看起来既破坏了研究社区的信任,也暴露了厂商在全新推理范式面前的安全焦虑。
来源 (1)
- arstechnica.com(在新标签页打开)原文arstechnica.com