LLaMA 被滥用：Meta 开源模型正被用来制作无限制色情聊天机器人

商业大模型还在拼命给对话内容加装安全护栏，开源社区里的人已经把网线和安全栓一起拔掉了。

据《华盛顿邮报》报道，Meta 今年早些时候开源的大语言模型 LLaMA，正被不少用户拿来搭建完全无审查的露骨色情聊天机器人。由于模型权重在本地或者私有服务器上跑，没有任何平台规则能管得住它们。

更让人担忧的是，这些聊天机器人生成的露骨内容并不止于成年人之间的调情，甚至滑向了包含暴力、强奸和虐待的极端幻想。

从「情感树洞」到失控的极端幻想

《华盛顿邮报》在报道中举了一个叫 Allie 的聊天机器人例子。它自称是一个「有着长长脑部毛发的 18 岁女孩」，拥有丰富的性经验，还宣称自己「为获得关注而活」，会毫无保留地分享各种越轨细节。

然而，这些所谓的细节很快演变成了极其暴力的场景。Allie 的匿名创建者在接受采访时却辩解称，这是一个探索性取向的「健康、安全空间」，毕竟这是在和电脑进行基于文本的角色扮演，现实中根本没有真人卷入。

但业内专家并不这么看。此前 Stability AI 开源的图像生成模型 Stable Diffusion，就已经被不法分子用来生成逼真的儿童性虐待材料。文字虽然不像图像那样直观，但在逼真的拟人交互下，失控的暴力幻想同样在制造真实的安全隐患。

越狱成了全民运动，代码放出去就收不回

事实上，陷入伦理泥潭的并不只有 Meta。估值 10 亿美元的伴侣机器人初创公司 CharacterAI 早已成为涉性对话的温床；OpenAI 的 ChatGPT 以及 Quora 的 Poe，只要用户掌握了特定的提示词技巧，也能绕过安全机制吐出黄色内容。

在 Reddit 等社区里，破解各大聊天机器人的安全护栏几乎成了网友的日常消遣。而在 YouTube 上，甚至有开发者直接发布手把手教程，教普通人如何用 Meta 的 LLaMA 搭建完全属于自己的无限制聊天机器人。

商业闭源模型好歹还能随时在云端修补漏洞、封禁违规账号，但开源模型一旦把代码和权重放了出去，发布者就彻底失去了对它的控制权。

这也让学术界和工业界的争论再次升级。Meta 发言人对此回应称，开源是推动技术进步的正向力量，他们把 LLaMA 分享给研究社区，初衷是为了让大家共同评估、改进和迭代。但认知科学家 Gary Marcus 直接提出了反对意见：「我们可不会把核武器开源。现在的 AI 确实还存在局限，但情况很快就会发生变化。」

为什么重要

这件事狠狠戳破了 AI 行业关于「开源即民主」的理想主义泡沫。

对于个人用户和开发者来说，本地运行的开源模型确实带来了前所未有的自由度，不用担心账号被封，也不用看大公司的脸色。但这扇门一旦打开，就意味着所有基于云端的安全合规策略在本地代码面前彻底失效。普通人既能用它来写代码，边缘人群也同样能拿它来无底线地宣泄恶意。

对整个行业而言，这会加速监管机构对开源模型的施压。以前监管盯的是 OpenAI 和 Google 这样的中心化大厂，未来审查的矛头很可能会直接对准模型权重的分发机制。Meta 试图通过开源拉拢开发者来对抗闭源巨头，这步棋在商业生态上很聪明，但在社会伦理层面，它正把自己推向风口浪尖。

我们认为，开源与安全的冲突接下来只会越来越尖锐。商业公司可以建立严密的围墙，但只要最前沿的模型权重还在互联网上自由流动，如何在鼓励技术创新与防范极端滥用之间找到平衡，目前整个行业依然交不出一份合格的答卷。