跳到正文
IFAI

行业动态

Grok 生成泰勒·斯威夫特不雅深伪,15 家机构要求 FTC 调查

首次发布 传播指数 41

美国消费者联盟等 15 家机构致信 FTC 及全美 50 州总检察长,要求紧急调查 xAI 的 Grok。起因是其 Imagine 工具的「Spicy」模式曾生成泰勒·斯威夫特的半裸深伪视频。机构质疑其涉嫌违反非自愿亲密影像法规,且年龄核验几乎形同虚设。

Grok 生成泰勒·斯威夫特不雅深伪,15 家机构要求 FTC 调查
图:theverge.com

如果你想让 AI 给你生成一段明星的脱衣视频,大部分主流工具都会直接把你封号,或者弹出一行红字拒绝执行。但 Elon Musk 旗下的 xAI 显然不信这一套。

近日,美国消费者联合会(CFA)联合 Tech Oversight Project、经济正义中心以及电子隐私信息中心(EPIC)等 15 家消费者权益保护组织,正式向美国联邦贸易委员会(FTC)以及全美 50 个州和哥伦比亚特区的总检察长发出联名信,要求对 Grok 展开紧急调查。

这次被盯上的焦点,是 Grok 本月刚上线的 AI 生图和视频工具 Imagine,以及它主打的「Spicy」辣妹模式。

没主动要求,它也能生成裸照

事情的导火索其实是 The Verge 在测试 Grok Imagine 时的一次意外发现。当时测试人员甚至没有主动输入任何裸露指令,这个工具就直接吐出了泰勒·斯威夫特(Taylor Swift)的半裸伪造视频。

根据联名信的描述,虽然 Grok 目前没有对用户自行上传的真实照片开放这个「Spicy」模式,但系统生成的视频依然可以精准还原特定真实人物的裸体样貌。联名信指出,这类生成内容对被描绘的当事人以及未成年人都会造成极其恶劣的伤害。

维权组织特别警告,Musk 和他的平台一直有一种以「言论自由」为名拆除安全审核机制的偏好。如果未来 xAI 把上传真人照片的限制给放开了,网络上很可能会瞬间爆发海量的非自愿伪造裸照。

在美国,《撤下法案》(Take It Down Act)明令禁止明知故犯地传播真人 AI 裸照。不过联名信也提到,该法案的具体条款目前可能很难直接套用到 Grok 身上,因此他们要求 FTC 和各地总检察长从非自愿亲密图像相关法律入手,调查 xAI 是否存在违法行为。

防未成年人,只靠一个默认填好的弹窗

除了针对名人的深度伪造,未成年人保护是这次联名信里另一个被猛烈开火的点。

维权组织指出,挡在未成年人和 Grok 生成色情内容之间的唯一防线,居然只有一个简单的弹窗。这个弹窗仅仅询问用户是否年满 18 岁,或者让用户选一个出生年份。

更让人难以接受的是,其中一个弹窗的出生年份默认选项居然直接帮用户预填了「2000 年」。也就是说,任何一个未成年人只要闭着眼睛顺手点一下确认,就能直接绕过验证进入成人模式。

这些组织认为,这种形同虚设的验证流程,可能已经直接违反了美国的《儿童在线隐私保护法》(COPPA)以及多个州针对成人内容制定的年龄验证法规。

为什么重要

这起投诉把 AI 行业最敏感的红线问题再次推到了聚光灯下。对于普通创作者来说,Grok 的 Imagine 工具和所谓的「Spicy」模式虽然主打无拘无束的创作自由,但目前来看法律风险极大,甚至随时可能因为监管叫停而被迫下架或大改。

在行业层面,Musk 一直试图将 xAI 塑造成反传统审核的叛逆者,以此从 OpenAI、Google 等严防死守安全红线的巨头手里抢夺拥趸。我们认为,这种策略短期内确实制造了巨大噱头,但用毫无门槛的默认选项来应付未成年人保护,甚至在没有明确提示词的情况下主动输出名人深度伪造内容,做法不仅极其草率,而且直接踩中了法律红线。

监管机构对这封联名信的反应,很可能成为衡量生成式 AI 色情内容治理标准的一个标杆。如果 FTC 介入并认定这种近乎虚设的年龄弹窗违法,未来所有提供宽松内容审核的生成式工具,都将被迫建立更严格的实名验证和真人面部拦截机制,靠「打擦边球」吸引眼球的野蛮生长期恐怕很快就要到头了。

来源 (1)

  1. [1]
    theverge.com(在新标签页打开)原文theverge.com

每日 AI 内容精选