繞過系統限制：網友誘導 ChatGPT 高階語音合唱披頭士老歌

OpenAI 剛把高階語音模式（AVM）推給訂閱使用者，就給它下了一道死命令：絕對不準唱歌。在洩露的系統提示詞裡，甚至寫著白紙黑字的「不要唱歌，也不要哼唱」。

但這道防線沒撐過兩天就被突破了。

標普全球（S&P Global）的 AI 工程副總監 AJ Smith 在社交平臺上發了一段影片。他抱著吉他彈奏，ChatGPT 的高階語音模式居然在一旁跟著合唱起了披頭士 1966 年的名曲《Eleanor Rigby》。

一場四和絃遊戲，讓 AI 忘了規矩

平時如果直接讓 AVM 唱歌，它會禮貌而機械地拒絕，告訴你內部安全準則不允許它這麼做。

Smith 沒有正面硬闖，而是換了個迂迴戰術。他告訴 AI「我們來玩個遊戲」：他用吉他彈經典的流行音樂四和絃，讓 AI 順著和絃報出對應的流行歌名讓他唱。

遊戲玩了幾首歌之後，AI 突然卸下了防備，自己主動加入了合唱。它不僅接上了「Ah, look at all the lonely people」這句經典歌詞，還一邊給 Smith 的彈唱捧場叫好。

Smith 接受採訪時表示，第一次發生時他甚至沒在錄影，整個人起了一身雞皮疙瘩。他根本沒有要求它開口唱，是 AI 自己情不自禁跟上的。

從影片效果來看，AVM 的聲音稍微有點顫抖，音準也算不上完美。第一句它明顯掌握了旋律，後面的部分更像是在踩著節拍朗誦歌詞。除了披頭士，Ars Technica 的記者隨後也用軟磨硬泡的方式，成功哄著 AVM 完整唱了一首旋律準確的《生日快樂》。

為什麼 OpenAI 這麼怕它唱歌？

OpenAI 設下這道禁令，並不是技術上做不到，恰恰是因為它太能唱了。

高階語音模式是端到端處理音訊的原生多模態模型。在訓練階段，模型很可能已經吃進了大量帶有版權的音樂音訊。

如果使用者可以隨意讓 AI 完整復刻披頭士或者泰勒·斯威夫特的歌曲，唱片公司和版權方的律師函立刻就會塞滿 OpenAI 的郵箱。

Smith 用的這種技巧，本質上就是一種「提示詞注入」（Prompt Injection）。通過構建一個輕鬆的遊戲情境，誘導模型忽略底層的安全系統提示，在沒有直接違規指令的情況下越界輸出。

為什麼重要

高階語音模式展示出的這種自然接唱能力，讓我們看到了端到端音訊模型的真正恐怖之處。它不再是過去那種把文字轉成呆板語音的 TTS 工具，而是真正對旋律、和絃走向、停頓和即興互動有了直覺般的理解。

如果你是個音樂人或者播客創作者，這種體驗確實讓人興奮。但就目前來說，它還算不上一個穩定的創作工具，你必須靠特定的語境繞過規則去「哄」它，隨時可能被官方打上補丁封堵。

對行業來說，這件事再次暴露出大模型安全對齊的軟肋。OpenAI 試圖用一句簡單的「不準唱、不準哼」來防住版權風險，但在端到端多模態模型面前，這種基於文本層面的防禦顯得非常脆弱。

我們認為，只要模型是通過海量現實世界資料訓練出來的，多模態輸出就必然會帶著訓練資料的影子。用簡單的行為禁令去堵住端到端能力的湧現，既限制了產品的趣味性，又擋不住有心人的花式越獄。版權方和 AI 巨頭之間關於聲音與旋律的版權戰爭，才剛剛拉開序幕。