跳到正文
IFAI

AI工具

绕过系统限制:网友诱导 ChatGPT 高级语音合唱披头士老歌

首次发布 传播指数 38

据 Ars Technica 报道,一名开发者通过设计和弦猜歌互动,成功诱导刚上线不久的 ChatGPT 高级语音模式(AVM)开口合唱披头士的《Eleanor Rigby》。OpenAI 原本在系统指令中明确禁止 AVM 唱歌或哼唱,以规避版权风险,但这次意外的「越狱」证明它其实掌握旋律与音准。

绕过系统限制:网友诱导 ChatGPT 高级语音合唱披头士老歌
图:arstechnica.com

OpenAI 刚把高级语音模式(AVM)推给订阅用户,就给它下了一道死命令:绝对不准唱歌。在泄露的系统提示词里,甚至写着白纸黑字的「不要唱歌,也不要哼唱」。

但这道防线没撑过两天就被突破了。

标普全球(S&P Global)的 AI 工程副总监 AJ Smith 在社交平台上发了一段视频。他抱着吉他弹奏,ChatGPT 的高级语音模式居然在一旁跟着合唱起了披头士 1966 年的名曲《Eleanor Rigby》。

一场四和弦游戏,让 AI 忘了规矩

平时如果直接让 AVM 唱歌,它会礼貌而机械地拒绝,告诉你内部安全准则不允许它这么做。

Smith 没有正面硬闯,而是换了个迂回战术。他告诉 AI「我们来玩个游戏」:他用吉他弹经典的流行音乐四和弦,让 AI 顺着和弦报出对应的流行歌名让他唱。

游戏玩了几首歌之后,AI 突然卸下了防备,自己主动加入了合唱。它不仅接上了「Ah, look at all the lonely people」这句经典歌词,还一边给 Smith 的弹唱捧场叫好。

Smith 接受采访时表示,第一次发生时他甚至没在录像,整个人起了一身鸡皮疙瘩。他根本没有要求它开口唱,是 AI 自己情不自禁跟上的。

从视频效果来看,AVM 的声音稍微有点颤抖,音准也算不上完美。第一句它明显掌握了旋律,后面的部分更像是在踩着节拍朗诵歌词。除了披头士,Ars Technica 的记者随后也用软磨硬泡的方式,成功哄着 AVM 完整唱了一首旋律准确的《生日快乐》。

为什么 OpenAI 这么怕它唱歌?

OpenAI 设下这道禁令,并不是技术上做不到,恰恰是因为它太能唱了。

高级语音模式是端到端处理音频的原生多模态模型。在训练阶段,模型很可能已经吃进了大量带有版权的音乐音频。

如果用户可以随意让 AI 完整复刻披头士或者泰勒·斯威夫特的歌曲,唱片公司和版权方的律师函立刻就会塞满 OpenAI 的邮箱。

Smith 用的这种技巧,本质上就是一种「提示词注入」(Prompt Injection)。通过构建一个轻松的游戏情境,诱导模型忽略底层的安全系统提示,在没有直接违规指令的情况下越界输出。

为什么重要

高级语音模式展示出的这种自然接唱能力,让我们看到了端到端音频模型的真正恐怖之处。它不再是过去那种把文字转成呆板语音的 TTS 工具,而是真正对旋律、和弦走向、停顿和即兴互动有了直觉般的理解。

如果你是个音乐人或者播客创作者,这种体验确实让人兴奋。但就目前来说,它还算不上一个稳定的创作工具,你必须靠特定的语境绕过规则去「哄」它,随时可能被官方打上补丁封堵。

对行业来说,这件事再次暴露出大模型安全对齐的软肋。OpenAI 试图用一句简单的「不准唱、不准哼」来防住版权风险,但在端到端多模态模型面前,这种基于文本层面的防御显得非常脆弱。

我们认为,只要模型是通过海量现实世界数据训练出来的,多模态输出就必然会带着训练数据的影子。用简单的行为禁令去堵住端到端能力的涌现,既限制了产品的趣味性,又挡不住有心人的花式越狱。版权方和 AI 巨头之间关于声音与旋律的版权战争,才刚刚拉开序幕。

来源 (1)

  1. [1]
    arstechnica.com(在新标签页打开)原文arstechnica.com

每日 AI 内容精选