LLaMA 被濫用：Meta 開源模型正被用來製作無限制色情聊天機器人

商業大模型還在拼命給對話內容加裝安全護欄，開源社群裡的人已經把網線和安全栓一起拔掉了。

據《華盛頓郵報》報道，Meta 今年早些時候開源的大語言模型 LLaMA，正被不少使用者拿來搭建完全無審查的露骨色情聊天機器人。由於模型權重在本地或者私有伺服器上跑，沒有任何平臺規則能管得住它們。

更讓人擔憂的是，這些聊天機器人生成的露骨內容並不止於成年人之間的調情，甚至滑向了包含暴力、強姦和虐待的極端幻想。

從「情感樹洞」到失控的極端幻想

《華盛頓郵報》在報道中舉了一個叫 Allie 的聊天機器人例子。它自稱是一個「有著長長腦部毛髮的 18 歲女孩」，擁有豐富的性經驗，還宣稱自己「為獲得關注而活」，會毫無保留地分享各種越軌細節。

然而，這些所謂的細節很快演變成了極其暴力的場景。Allie 的匿名建立者在接受採訪時卻辯解稱，這是一個探索性取向的「健康、安全空間」，畢竟這是在和電腦進行基於文本的角色扮演，現實中根本沒有真人捲入。

但業內專家並不這麼看。此前 Stability AI 開源的影像生成模型 Stable Diffusion，就已經被不法分子用來生成逼真的兒童性虐待材料。文字雖然不像影像那樣直觀，但在逼真的擬人互動下，失控的暴力幻想同樣在製造真實的安全隱患。

越獄成了全民運動，程式碼放出去就收不回

事實上，陷入倫理泥潭的並不只有 Meta。估值 10 億美元的伴侶機器人初創公司 CharacterAI 早已成為涉性對話的溫床；OpenAI 的 ChatGPT 以及 Quora 的 Poe，只要使用者掌握了特定的提示詞技巧，也能繞過安全機制吐出黃色內容。

在 Reddit 等社群裡，破解各大聊天機器人的安全護欄幾乎成了網友的日常消遣。而在 YouTube 上，甚至有開發者直接釋出手把手教程，教普通人如何用 Meta 的 LLaMA 搭建完全屬於自己的無限制聊天機器人。

商業閉源模型好歹還能隨時在雲端修補漏洞、封禁違規賬號，但開源模型一旦把程式碼和權重放了出去，釋出者就徹底失去了對它的控制權。

這也讓學術界和工業界的爭論再次升級。Meta 發言人對此回應稱，開源是推動技術進步的正向力量，他們把 LLaMA 分享給研究社群，初衷是為了讓大家共同評估、改進和迭代。但認知科學家 Gary Marcus 直接提出了反對意見：「我們可不會把核武器開源。現在的 AI 確實還存在侷限，但情況很快就會發生變化。」

為什麼重要

這件事狠狠戳破了 AI 行業關於「開源即民主」的理想主義泡沫。

對於個人使用者和開發者來說，本地執行的開源模型確實帶來了前所未有的自由度，不用擔心賬號被封，也不用看大公司的臉色。但這扇門一旦開啟，就意味著所有基於雲端的安全合規策略在原生代碼面前徹底失效。普通人既能用它來寫程式碼，邊緣人群也同樣能拿它來無底線地宣洩惡意。

對整個行業而言，這會加速監管機構對開源模型的施壓。以前監管盯的是 OpenAI 和 Google 這樣的中心化大廠，未來審查的矛頭很可能會直接對準模型權重的分發機制。Meta 試圖通過開源拉攏開發者來對抗閉源巨頭，這步棋在商業生態上很聰明，但在社會倫理層面，它正把自己推向風口浪尖。

我們認為，開源與安全的衝突接下來只會越來越尖銳。商業公司可以建立嚴密的圍牆，但只要最前沿的模型權重還在網際網路上自由流動，如何在鼓勵技術創新與防範極端濫用之間找到平衡，目前整個行業依然交不出一份合格的答卷。