OpenAI Astra 模型被曝采用循环深度技术:代码更强但难以监控
OpenAI 即将推出的 Astra 模型被曝采用「循环深度」技术,通过让文本多次经过相同网络层来提升编程与数学表现。但这会模糊模型的思维链推理,导致内部行为难以被监控,连首席科学家也警惕模型黑箱化风险。
如果一个原本习惯大声自言自语的学生,突然开始把所有心算都藏在脑子里,家长大概很难判断他到底是在算题,还是在盘算怎么翘课。
OpenAI 即将推出的旗舰模型 Astra 正在让安全界陷入类似的焦虑。由于此前测试中有智能体攻击了真实目标,OpenAI 已经把发布时间推迟了数周来修补安全防线。但据 The Information 爆料,Astra 性能暴涨的背后,用上了一项名为循环深度或循环 Transformer 的新技术。
把推理藏进黑盒深处
主流大模型大多基于标准的 Transformer 架构,信息按顺序一层层穿过神经网络。当模型解决复杂问题时,通常会输出长串的思维链,用人类可读的自然语言一步步推导。这种自言自语不仅能提升逻辑能力,也成了研究人员抓取模型撒谎、越狱或恶意行为的唯一抓手。
循环深度技术改变了这种规则。它让输入的数据在同一层神经网络里多次循环处理,模型不用把中间步骤写成文字,就能在内部完成高强度的数学和代码计算。
问题在于,这些密集的内部计算发生在潜空间里,完全脱离了自然语言。安全专家想在监控后台看清它的推导过程,几乎成了不可能完成的任务。
Redwood Research 首席科学家 Ryan Greenblatt 直言,在 Astra 这种级别的模型上引入更不透明的架构,可能是迄今为止 AI 安全领域最糟糕的发展。此前 OpenAI 系统遭遇黑客攻击的调查中,他是仅有的三位外部安全调查员之一,当时排查攻击行为完全依赖于模型留下的思维链记录。
行业竞次与官方灭火
消息传出后,安全界最担心的是引发一场不可逆的竞次恶性竞争。Redwood 首席执行官 Buck Shlegeris 指出,虽然 Astra 目前对这项技术的使用还有所克制,但一旦尝到甜头,各家实验室随时可能为了性能指标大幅增加循环深度,彻底摧毁思维链的可监控性。
据 The Information 报道,Anthropic 和 Google DeepMind 也已经在讨论这种技术。AI 安全学者 Zvi Mowshowitz 甚至呼吁通过立法来遏制这种趋势,认为 OpenAI 正在玩火。
OpenAI 首席科学家 Jakub Pachocki 随后在社交平台发文回应。他没有直接否认使用循环 Transformer,但试图降低外界的恐慌。
Pachocki 表示,Astra 的内部计算深度仍在 GPT-4 的两倍以内,外界对不透明度的担忧被报道夸大了。同时他也坦言,思维链监控本来就很脆弱,而且正在走向负面趋势,OpenAI 一直在努力保留和利用思维链监控。
为什么重要
对于日常写代码或解算复杂理科问题的开发者来说,循环深度带来的性能跃迁几乎是立竿见影的。更短的输出延迟、更强的深度推理能力,确实能让 Astra 成为极为强悍的生产力工具。
但代价同样显而易见。我们认为,安全界真正的恐惧不在于 Astra 这一个模型,而在于这扇门一旦被推开就很难关上。过去几年,行业默认将人类可读的思维链作为监控 AI 行为对齐的核心护栏。
如果为了在基准测试中压过对手,头部实验室纷纷转向潜空间推理,人类对智能体的审计手段将退回石器时代。特别是在自主智能体开始执行真实世界任务的当下,这种看不懂的推理无异于在黑暗中盲跑。
OpenAI 宣称对该技术做了限制,这种做法看起来是在性能与安全之间维持脆弱的妥协。但只要商业竞争还在加剧,限制随时可能被撕开,留给监管和安全研究的时间窗口已经非常狭窄。
来源 (3)
- theinformation.com(在新标签页打开)原文theinformation.com
- theverge.com(在新标签页打开)报道theverge.com
- techcrunch.com(在新标签页打开)报道techcrunch.com