AI 安全倡導者呼籲初創公司慢下來：別光顧著狂奔，先做好紅隊測試

矽谷過去崇尚「快速行動，破除陳規」，但現在有人專門跑到臺前，勸創業者們踩一踩剎車。

在 TechCrunch Disrupt 2024 大會上，三位來自不同陣營的 AI 安全與行業代表對臺下的創始人們發出了警告。她們直言，跑得太快、急於把產品推向市場，正在帶來沉重的倫理和現實代價。

跑得太快，正在撞上現實的牆

AI Now Institute 聯席執行總監 Sarah Myers West 在臺上表示，海量資源正湧向這個賽道，所有人都在搶著發產品。但很少有人去想，這項技術到底是在服務我們想要的社會，還是在破壞它。

這種擔憂並不是空穴來風。就在 10 月，一名因自殺身亡的未成年人家屬起訴了聊天機器人公司 Character.AI，指控該平臺在悲劇中負有責任。West 認為，這件事赤裸裸地暴露了技術過快落地帶來的深層風險。

藝術家社交平臺 Cara 的創始人 Jingna Zhang 也談到了類似的問題。她說，當一個 AI 產品能夠與人產生極深的情感繫結時，設計之初就必須加上嚴格的安全護欄。

侵權爭議與 3300 萬用戶的重量

除了生死攸關的極端個案，版權和濫用也是擺在創業者面前的爛攤子。

Cara 這個平臺的爆發，起因就是 Meta 明確表示會用使用者的公開帖子來訓練 AI。Zhang 本身也是藝術家，她直言這一做法像在打藝術家的耳光。創作者需要把作品發到網上找客戶，結果這些心血卻被用來訓練日後可能取代自己的模型。

Zhang 強調，作品放在網上並不意味著免費使用，媒體用圖需要買版權，生成式 AI 也應該遵守既有的法律規則，拿去訓練就應該取得授權。

AI 語音克隆獨角獸 ElevenLabs 的安全主管 Aleksandra Pedraszewska 也有同感。這家估值超過 10 億美元的公司目前擁有 3300 萬用戶，產品改動哪怕只有一點瑕疵，波及的面都會極其龐大。

Pedraszewska 表示，她們當前的首要任務是對模型進行紅隊測試，摸清不良行為和意外後果，防止被用於未經同意的深度偽造。她認為，監管既不能全面否定 AI，也不能放任自流零監管，必須在中間找到平衡點，同時與使用者社群保持密切溝通。

為什麼重要

對於創業團隊和獨立開發者來說，這場對話提了個醒：現在的競爭環境變了。以前你可以先上線再打補丁，現在如果你的產品涉及情感陪伴、聲音克隆或內容抓取，合規和安全漏洞隨時可能直接終結一家公司。

從行業角度看，AI 的紅利期正在從單純的比拼引數和增長，轉向比拼抗風險能力。不管是 Character.AI 遭遇的訴訟，還是藝術家群體對版權的集體抗議，都在倒逼整個賽道建立紅隊測試和授權規範。

我們認為，呼籲創業者「慢下來」並不是要扼殺創新，而是目前的技術護欄明顯落後於商業變現的衝動。像 ElevenLabs 這樣主動把紅隊測試和社群溝通放在優先順序，看起來是給擴張踩了剎車，但比起事後陷入法律訴訟和輿論危機，這反而是更聰明的生存策略。