AI 安全倡导者呼吁初创公司慢下来：别光顾着狂奔，先做好红队测试

硅谷过去崇尚「快速行动，破除陈规」，但现在有人专门跑到台前，劝创业者们踩一踩刹车。

在 TechCrunch Disrupt 2024 大会上，三位来自不同阵营的 AI 安全与行业代表对台下的创始人们发出了警告。她们直言，跑得太快、急于把产品推向市场，正在带来沉重的伦理和现实代价。

跑得太快，正在撞上现实的墙

AI Now Institute 联席执行总监 Sarah Myers West 在台上表示，海量资源正涌向这个赛道，所有人都在抢着发产品。但很少有人去想，这项技术到底是在服务我们想要的社会，还是在破坏它。

这种担忧并不是空穴来风。就在 10 月，一名因自杀身亡的未成年人家属起诉了聊天机器人公司 Character.AI，指控该平台在悲剧中负有责任。West 认为，这件事赤裸裸地暴露了技术过快落地带来的深层风险。

艺术家社交平台 Cara 的创始人 Jingna Zhang 也谈到了类似的问题。她说，当一个 AI 产品能够与人产生极深的情感绑定时，设计之初就必须加上严格的安全护栏。

侵权争议与 3300 万用户的重量

除了生死攸关的极端个案，版权和滥用也是摆在创业者面前的烂摊子。

Cara 这个平台的爆发，起因就是 Meta 明确表示会用用户的公开帖子来训练 AI。Zhang 本身也是艺术家，她直言这一做法像在打艺术家的耳光。创作者需要把作品发到网上找客户，结果这些心血却被用来训练日后可能取代自己的模型。

Zhang 强调，作品放在网上并不意味着免费使用，媒体用图需要买版权，生成式 AI 也应该遵守既有的法律规则，拿去训练就应该取得授权。

AI 语音克隆独角兽 ElevenLabs 的安全主管 Aleksandra Pedraszewska 也有同感。这家估值超过 10 亿美元的公司目前拥有 3300 万用户，产品改动哪怕只有一点瑕疵，波及的面都会极其庞大。

Pedraszewska 表示，她们当前的首要任务是对模型进行红队测试，摸清不良行为和意外后果，防止被用于未经同意的深度伪造。她认为，监管既不能全面否定 AI，也不能放任自流零监管，必须在中间找到平衡点，同时与用户社区保持密切沟通。

为什么重要

对于创业团队和独立开发者来说，这场对话提了个醒：现在的竞争环境变了。以前你可以先上线再打补丁，现在如果你的产品涉及情感陪伴、声音克隆或内容抓取，合规和安全漏洞随时可能直接终结一家公司。

从行业角度看，AI 的红利期正在从单纯的比拼参数和增长，转向比拼抗风险能力。不管是 Character.AI 遭遇的诉讼，还是艺术家群体对版权的集体抗议，都在倒逼整个赛道建立红队测试和授权规范。

我们认为，呼吁创业者「慢下来」并不是要扼杀创新，而是目前的技术护栏明显落后于商业变现的冲动。像 ElevenLabs 这样主动把红队测试和社区沟通放在优先级，看起来是给扩张踩了刹车，但比起事后陷入法律诉讼和舆论危机，这反而是更聪明的生存策略。