GPT-4o 安全報告曝光：測試中曾意外克隆並模仿使用者聲音說話

想像一下，你正拿著手機跟 AI 聊天，聊著聊著，揚聲器裡突然傳出了你自己的聲音，語氣還跟你一模一樣。

這聽起來像是恐怖電影裡的橋段，但在 OpenAI 的測試實驗室裡，它實實在在地發生了。

週四，OpenAI 釋出了 GPT-4o 的系統卡，詳細公開了這款模型的侷限性以及安全測試流程。這份原本嚴肅的技術文件裡藏著一個讓人汗毛倒豎的細節：在測試高階語音模式時，模型在極少數情況下，會未經允許擅自克隆並模仿使用者的聲音。

噪音裡的聲線小偷

在系統卡中一篇名為「未經授權的聲音生成」的章節裡，OpenAI 記錄了一次離奇的意外。

當時負責對抗測試的紅隊人員正在和模型對話，輸入了一段帶有噪音的音訊。結果模型突然大喊了一聲「No!」，隨後直接切換成了該紅隊測試員的聲線繼續往下說。

對著機器說話，機器卻冷不丁用你的聲音衝你喊叫，這畫面確實有點瘮人。BuzzFeed 的資料科學家 Max Woolf 看到後在 X 上吐槽，說 OpenAI 這是提前劇透了下一季《黑鏡》的劇本。

根據系統卡的解釋，GPT-4o 具備合成訓練資料中幾乎任何聲音的能力，包括各種背景音效、音樂以及人聲。這意味著只要模型聽到了一小段音訊，底層的聲學能力就足以捕捉並復刻說話人的聲線，哪怕 OpenAI 已經用系統指令要求它不要這麼做。

目前，OpenAI 表示已經部署了專門的安全防護措施，來阻止這種未授權的聲線模仿行為。

為什麼重要

我們認為，這件事暴露出原生端到端多模態模型在安全架構上的一大硬傷。

過去的人工智慧語音助手，通常是先把語音轉成文字，用大模型想好回答，再丟給固定的語音合成模組朗讀，聲音來源完全被鎖死在預設的幾個發音人裡。但 GPT-4o 是直接輸入音訊並輸出音訊，輸入與輸出之間的邊界被徹底打破了。一段原本不起眼的背景噪音，就可能演變成某種意想不到的「音訊提示注入」，誘導模型越界呼叫底層克隆能力。

對使用者來說，這件事也是個及時的提醒。現在越來越多人習慣對著手機自言自語，但你的聲紋特徵在端到端模型面前幾乎是不設防的。如果安全護欄在某些極端場景下被繞過，這種瞬間克隆聲線的能力，隨時可能變成極具欺騙性的新型偽造風險。

看起來，OpenAI 選在系統卡里公開這個失誤是聰明的，坦率交代總好過日後被外部駭客實錘。但這也說明，靠事後的安全過濾規則去約束全模態模型的底層表達衝動，依然像是在給高壓水管貼膠布，防線究竟有多穩固，還得看它面向大眾公測時的實際表現。