跳到正文
IFAI

產業動態

ElevenLabs 收緊語音克隆:4chan 偽造名人發聲,官方擬引入實名制

首次發布 傳播指數 43

ElevenLabs 表示其語音克隆測試版遭到惡意濫用,4chan 上出現了大量利用該工具偽造艾瑪·沃森等名人聲音的違規音訊。ElevenLabs 稱正探索更嚴格的防護手段,考慮引入支付繫結、身份實名認證或人工逐一稽核。

ElevenLabs 收緊語音克隆:4chan 偽造名人發聲,官方擬引入實名制
圖:vice.com

只要一段一分鐘的清晰錄音,AI 就能讓任何人說出他們從未說過的話。不僅是語氣像,連情緒和停頓都能模仿得惟妙惟肖。

但這套本意用來讀小說、做播客的工具,剛開放測試就被惡搞者盯上了。

4chan 上的名人聲音狂歡

週一,AI 語音初創公司 ElevenLabs 在 Twitter 上承認,其剛推出不久的測試版平臺遇到了越來越多聲音克隆濫用案例。

就在週日,海外匿名論壇 4chan 上開始瘋傳大量名人聲音片段,發帖者甚至直接附上了 ElevenLabs 的測試版連結。

流出的音訊五花八門,從低俗惡搞迅速演變成仇恨言論。有合成聲音聽起來像演員艾瑪·沃森在朗讀《我的奮鬥》,也有聲音酷似政治評論員 Ben Shapiro 在發表種族主義言論。

甚至有人偽造了動畫片《瑞克和莫蒂》主角 Rick 的聲音,在音訊裡威脅要毆打妻子致死,恰好影射該配音演員近期面臨的指控。

極低的技術門檻與緊急補丁

ElevenLabs 由前 Google 機器學習工程師 Piotr Dabkowski 和前 Palantir 部署策略師 Mati Staniszewski 共同創立。公司本月剛宣佈完成一輪 200 萬美元的 Pre-seed 融資,由捷克風投機構 Credo 領投。

該平臺提供語音合成和聲音克隆兩項主要服務。按照官方說明,使用者只需提供一段超過一分鐘且沒有雜音的樣本,就能克隆出對應的聲音,甚至能還原各種特定口音。

原本面向電子書、新聞通訊和影片旁白的商業定位,在毫無門檻的公測面前,迅速淪為了網路暴力的武器庫。

事件發酵後,ElevenLabs 表示他們有能力將生成的音訊追溯到具體賬號,但顯然這無法阻止傷害即時發生。

團隊正在探索更嚴密的安全防線,包括要求使用者繫結支付資訊、提交完整身份證明,或者對每一個聲音克隆請求進行人工稽核。

為什麼重要

當年 Deepfake 影片最初也是從非自願色情和惡搞名人開始蔓延,如今音訊領域正在踩進同一條河流,而且門檻低得驚人。

與換臉影片相比,聲音往往更容易讓人放下防備。只要一段一分鐘的日常語音或短影片原聲,任何人都可以變成虛假言論的發言者,普通人面對電信詐騙和名譽抹黑的防禦成本將被無限推高。

ElevenLabs 考慮加入支付驗證甚至人工稽核,看起來是眼下少數管用的剎車手段,但代價是徹底犧牲產品的裂變速度。

我們認為,AI 語音賽道走到了一個分水嶺。如果初創團隊在產品設計之初不引入聲音所有權驗證機制,只為了快速獲客而開放全功能,這類惡意濫用只會一次次重演。技術跑得比規則快的時候,最先被反噬的往往是平臺自己。

來源 (1)

  1. [1]
    vice.com(在新分頁開啟)原文vice.com

每日 AI 內容精選