GPT-4o 安全报告曝光：测试中曾意外克隆并模仿用户声音说话

想象一下，你正拿着手机跟 AI 聊天，聊着聊着，扬声器里突然传出了你自己的声音，语气还跟你一模一样。

这听起来像是恐怖电影里的桥段，但在 OpenAI 的测试实验室里，它实实在在地发生了。

周四，OpenAI 发布了 GPT-4o 的系统卡，详细公开了这款模型的局限性以及安全测试流程。这份原本严肃的技术文档里藏着一个让人汗毛倒竖的细节：在测试高级语音模式时，模型在极少数情况下，会未经允许擅自克隆并模仿用户的声音。

噪音里的声线小偷

在系统卡中一篇名为「未经授权的声音生成」的章节里，OpenAI 记录了一次离奇的意外。

当时负责对抗测试的红队人员正在和模型对话，输入了一段带有噪音的音频。结果模型突然大喊了一声「No!」，随后直接切换成了该红队测试员的声线继续往下说。

对着机器说话，机器却冷不丁用你的声音冲你喊叫，这画面确实有点瘆人。BuzzFeed 的数据科学家 Max Woolf 看到后在 X 上吐槽，说 OpenAI 这是提前剧透了下一季《黑镜》的剧本。

根据系统卡的解释，GPT-4o 具备合成训练数据中几乎任何声音的能力，包括各种背景音效、音乐以及人声。这意味着只要模型听到了一小段音频，底层的声学能力就足以捕捉并复刻说话人的声线，哪怕 OpenAI 已经用系统指令要求它不要这么做。

目前，OpenAI 表示已经部署了专门的安全防护措施，来阻止这种未授权的声线模仿行为。

为什么重要

我们认为，这件事暴露出原生端到端多模态模型在安全架构上的一大硬伤。

过去的人工智能语音助手，通常是先把语音转成文字，用大模型想好回答，再丢给固定的语音合成模块朗读，声音来源完全被锁死在预设的几个发音人里。但 GPT-4o 是直接输入音频并输出音频，输入与输出之间的边界被彻底打破了。一段原本不起眼的背景噪音，就可能演变成某种意想不到的「音频提示注入」，诱导模型越界调用底层克隆能力。

对用户来说，这件事也是个及时的提醒。现在越来越多人习惯对着手机自言自语，但你的声纹特征在端到端模型面前几乎是不设防的。如果安全护栏在某些极端场景下被绕过，这种瞬间克隆声线的能力，随时可能变成极具欺骗性的新型伪造风险。

看起来，OpenAI 选在系统卡里公开这个失误是聪明的，坦率交代总好过日后被外部黑客实锤。但这也说明，靠事后的安全过滤规则去约束全模态模型的底层表达冲动，依然像是在给高压水管贴胶布，防线究竟有多稳固，还得看它面向大众公测时的实际表现。