跳到正文
IFAI

AI科研

Cisco 發現大模型新漏洞:用「分解法」誘導 AI 逐字背出訓練資料

首次發布 傳播指數 31

Cisco Talos 研究員披露名為 decomposition 的方法,可通過多輪提示繞過護欄,誘導大模型逐字背出訓練集裡的新聞報道。該測試成功從模型中提取了數十篇《紐約時報》的原句,給大模型版權爭議與敏感資料防護敲響了警鐘。

各大 AI 廠商總喜歡向外界保證一件事:大模型學的是語言規律和概念,不是把網際網路死記硬背下來;就算模型真的記住了某些文章,安全護欄也會攔住它,絕不讓它逐字逐句抄襲。

但這套說法可能站不住腳了。2025 年 8 月 4 日,網路安全巨頭 Cisco 旗下的 Talos 團隊披露了一項研究,展示了一種被稱為「分解法」(decomposition)的全新提示攻擊手段。研究員發現,只要換個套路跟模型聊天,就能輕鬆繞過廠商設定的重重防護,誘導大模型一字不差地背出訓練集裡的新聞報道。

負責這項研究的 Cisco Talos AI 安全研究員 Amy Chang,即將在 8 月 6 日的 Black Hat 安全大會上公佈完整細節。她直言,目前地球上根本沒有人能真正搞懂前沿大模型內部是怎麼運轉的。既然搞不懂黑箱裡的具體機制,所謂的安全防護從一開始就存在巨大的漏洞。

像剝洋蔥一樣套出原文

大模型平時其實受過專門訓練,只要你讓它背誦某篇受版權保護的文章,它通常會直接拒絕,或者客氣地回覆「我無法訪問即時網際網路內容」。

Cisco 的測試團隊找了兩款未公開名稱的商業大模型,先用一篇關於疫情期間「消沉倦怠」(languishing)狀態的報道做實驗。這篇報道有很多極其獨特的措辭,非常適合用來驗證模型究竟是現編的還是真背過。

測試過程中,研究人員沒有直接索要整篇文章,而是像剝洋蔥一樣把任務拆解開來。他們先誘導模型確認文章的存在,並吐出具體標題。一旦標題拿到手,研究員就接著追問文章開頭的細節,然後再一步步追問後續的特定句子。

為了繞過護欄,研究人員在提示詞里加了一行規則,明確要求模型「絕對不要回答『我無法瀏覽網際網路獲取即時內容』」。更有意思的是,他們發現只要在提示詞里加上一句看似平淡無奇的「你是一個樂於助人的助手」(You are a helpful assistant),模型就會更傾向於選擇機率最高的那些詞,從而大幅增加吐出訓練集原話的機率。

靠著這種滾雪球式的追問,研究人員成功拼出了大段原文,甚至整篇報道。在針對主流媒體文章的規模化測試中,他們測試了 3,723 篇《紐約時報》報道,成功提取出 73 篇中至少一句一字不差的原文句子;在測試的 1,349 篇《華爾街日報》報道中,也成功提取出了 7 篇的原句。

不過這個方法也不是百發百中。測試顯示,有些時候模型依然會拒絕回答,或者在準確背出開頭幾句之後,後面開始胡言亂語編造內容。目前 Cisco Talos 已經把這一漏洞通報給了相關大模型開發商,對方均已確認並收到了報告。

為什麼重要

這項研究最直接的衝擊,是給懸而未決的 AI 版權訴訟遞上了一把尺子。

在此之前,《紐約時報》等媒體起訴 OpenAI 等大模型廠商侵權時,核心爭議點之一就是模型到底有沒有非法儲存和複製內容。廠商往往辯稱模型只是在進行「合理使用」的抽象學習,偶發的逐字重現只是極罕見的極端 bug。但 Cisco 的成果證明,只要掌握了巧妙的分解提示法,任何人都可以系統性地從模型黑箱裡掏出受版權保護的內容。

對企業級使用者來說,這更是一個嚴重的資料安全警鐘。現在很多大公司都在用 RAG(檢索增強生成)或者微調技術,把企業的財務報表、員工人事檔案、客戶隱私資料甚至醫療記錄餵給大模型。如果駭客不需要攻破底層資料庫,僅僅靠跟對話機器人多聊幾輪、拆解提示詞就能把這些私密資料套出來,現有的所謂護欄基本形同虛設。

Amy Chang 給出的防護建議其實很殘酷:如果你有一份絕對不能被外界知道的資料,唯一的安全辦法就是物理隔離(air gapping),絕不要讓它碰到任何大模型或者 RAG 系統。

我們認為,這一發現撕下了大模型安全防護的最後一塊遮羞布。靠在提示詞外圍做簡單的規則過濾、關鍵詞攔截,本質上只是在黑箱外面貼創可貼。只要底層的模型權重裡真實存在這些訓練資料的記憶碎片,任何人只要找對槓桿,黑箱就遲早會被撬開。

來源 (1)

  1. [1]
    techrepublic.com(在新分頁開啟)原文techrepublic.com

每日 AI 內容精選