ElevenLabs 收紧语音克隆:4chan 伪造名人发声,官方拟引入实名制
ElevenLabs 表示其语音克隆测试版遭到恶意滥用,4chan 上出现了大量利用该工具伪造艾玛·沃森等名人声音的违规音频。ElevenLabs 称正探索更严格的防护手段,考虑引入支付绑定、身份实名认证或人工逐一审核。

只要一段一分钟的清晰录音,AI 就能让任何人说出他们从未说过的话。不仅是语气像,连情绪和停顿都能模仿得惟妙惟肖。
但这套本意用来读小说、做播客的工具,刚开放测试就被恶搞者盯上了。
4chan 上的名人声音狂欢
周一,AI 语音初创公司 ElevenLabs 在 Twitter 上承认,其刚推出不久的测试版平台遇到了越来越多声音克隆滥用案例。
就在周日,海外匿名论坛 4chan 上开始疯传大量名人声音片段,发帖者甚至直接附上了 ElevenLabs 的测试版链接。
流出的音频五花八门,从低俗恶搞迅速演变成仇恨言论。有合成声音听起来像演员艾玛·沃森在朗读《我的奋斗》,也有声音酷似政治评论员 Ben Shapiro 在发表种族主义言论。
甚至有人伪造了动画片《瑞克和莫蒂》主角 Rick 的声音,在音频里威胁要殴打妻子致死,恰好影射该配音演员近期面临的指控。
极低的技术门槛与紧急补丁
ElevenLabs 由前 Google 机器学习工程师 Piotr Dabkowski 和前 Palantir 部署策略师 Mati Staniszewski 共同创立。公司本月刚宣布完成一轮 200 万美元的 Pre-seed 融资,由捷克风投机构 Credo 领投。
该平台提供语音合成和声音克隆两项主要服务。按照官方说明,用户只需提供一段超过一分钟且没有杂音的样本,就能克隆出对应的声音,甚至能还原各种特定口音。
原本面向电子书、新闻通讯和视频旁白的商业定位,在毫无门槛的公测面前,迅速沦为了网络暴力的武器库。
事件发酵后,ElevenLabs 表示他们有能力将生成的音频追溯到具体账号,但显然这无法阻止伤害即时发生。
团队正在探索更严密的安全防线,包括要求用户绑定支付信息、提交完整身份证明,或者对每一个声音克隆请求进行人工审核。
为什么重要
当年 Deepfake 视频最初也是从非自愿色情和恶搞名人开始蔓延,如今音频领域正在踩进同一条河流,而且门槛低得惊人。
与换脸视频相比,声音往往更容易让人放下防备。只要一段一分钟的日常语音或短视频原声,任何人都可以变成虚假言论的发言者,普通人面对电信诈骗和名誉抹黑的防御成本将被无限推高。
ElevenLabs 考虑加入支付验证甚至人工审核,看起来是眼下少数管用的刹车手段,但代价是彻底牺牲产品的裂变速度。
我们认为,AI 语音赛道走到了一个分水岭。如果初创团队在产品设计之初不引入声音所有权验证机制,只为了快速获客而开放全功能,这类恶意滥用只会一次次重演。技术跑得比规则快的时候,最先被反噬的往往是平台自己。
来源 (1)
- vice.com(在新标签页打开)原文vice.com