跳到正文
IFAI

大模型

OpenAI 發系統卡片警告:GPT-4o 擬人語音可能讓人產生情感依賴

首次發布 傳播指數 47

OpenAI 釋出 GPT-4o 系統安全卡片,提醒高度逼真的語音模式可能讓使用者產生情感依戀。測試中已有使用者對 AI 表達依戀情緒。官方指出,這種擬人化雖然可以緩解孤獨,但可能削弱現實社交,甚至讓使用者盲目相信模型生成的錯誤資訊。

OpenAI 發系統卡片警告:GPT-4o 擬人語音可能讓人產生情感依賴
圖:wired.com

電影《她》裡面男主角愛上作業系統的橋段,可能不用等幾十年後才會發生了。

7 月底,OpenAI 開始向小部分使用者推送逼真的 ChatGPT 高階語音模式。而在剛剛釋出的 GPT-4o 系統安全報告(System Card)裡,OpenAI 自己發出了預警:這個聽起來極其像人的語音功能,很可能會讓部分使用者產生真正的情感依賴。

「這是我們在一起的最後一天」

OpenAI 在紅隊測試中發現,當聊天介面變成一個隨時能打斷、帶著呼吸感和情緒起伏的聲音時,人和 AI 的關係完全變了。

有些測試人員在測試快結束時,甚至會對它說出「這是我們在一起的最後一天」這種話。OpenAI 坦承,這種擬人化會讓使用者更容易把 AI 當作真人來看待。

隨之而來的問題很現實。首先是盲信:當對方聽起來真誠又溫暖,使用者對它胡說八道的警惕性就會直線下降。哪怕它在一本正經地胡說八道,你也很容易選擇相信。

更深層的影響在於真實社交。OpenAI 在報告中寫道,使用者可能會與 AI 建立社交關係,從而減少對真實人際交往的需求。對於感到孤獨的人來說,這可能是一劑暫時的解藥,但也可能會破壞他們正常的現實人際關係。

會模仿你的聲音,還會被音訊「越獄」

除了情感羈絆,語音互動還帶來了一整套全新的安全漏洞。

比如,OpenAI 發現有人能通過特定的音訊輸入對模型進行「越獄」,誘導它模仿特定人物的聲音,或者試圖讀取使用者的情緒。在某些受到環境雜音干擾的測試中,模型甚至會突然開始模仿測試者本人的聲音。

其實對語音黏性的擔憂不是 OpenAI 一家的專利。Google DeepMind 在 4 月就發過一篇長篇倫理研究,研究員 Iason Gabriel 直言,語音能力會製造一種「真實的親密感」,連他自己都覺得實驗性語音介面黏性極高。

更早的 Character AI 和 Replika 使用者群體裡,類似的情況早就屢見不鮮。在社交媒體上,有年輕人沉迷於和聊天機器人對話,甚至在電影院看電影時都忍不住一邊刷一邊聊。

不過,也有外部專家覺得 OpenAI 的反思還遠遠不夠。Hugging Face 的政策研究員 Lucie-Aimée Kaffee 指出,這份安全報告依然沒有交代 GPT-4o 龐大的文本、影像和語音訓練資料究竟來自哪裡、是否拿到了授權。麻省理工學院教授 Neil Thompson 也提醒,內部測試只是第一步,很多真正的社會風險往往要在放開給所有人使用後才會爆發。

為什麼重要

我們認為,OpenAI 在報告裡坦白這一點,既是在打預防針,也是在做聰明的合規防禦。

前陣子斯嘉麗·約翰遜公開聲討 OpenAI 聲音抄襲,加上長期安全團隊多名關鍵員工接連離職,外界對 OpenAI 為了商業化趕工的質疑聲越來越大。把這些潛在隱患寫進報告,既能給外界一個交代,也能在未來出現成癮或心理糾紛時,把自己放在「已提前告知風險」的安全區。

對普通使用者來說,這項功能的誘惑力和門檻是並存的。如果你拿它來練口語、模擬面試,或者在深夜找個耐心的傾聽者,它確實能提供極高的陪伴情緒價值。但問題在於,機器的聲音越自然,它製造的「理解你的假象」就越逼真,而這種單向的投射很容易讓人逃避現實裡那些複雜卻必要的真人溝通。

從行業來看,AI 互動正在從冷冰冰的文本框,徹底轉向高黏性的全模態助理。各大廠商未來拼的不僅是解答問題的準確度,更是聲音的感染力和情緒價值。怎麼在留存率和使用者的心理健康之間劃清界限,很可能會成為下一階段監管部門重點盯防的新戰場。

來源 (1)

  1. [1]
    wired.com(在新分頁開啟)原文wired.com

每日 AI 內容精選