跳到正文
IFAI

大模型

OpenAI 研發文本水印:只需一段話,就能抓出 ChatGPT 作弊

首次發布 傳播指數 46

據報道,OpenAI 正測試一種文本水印方案,通過密碼學函式在生成 token 時植入人眼難察的隱形標記。只要文本達到幾百個 token(約一整段),就能識別是否出自 GPT,即便調整語序或刪減詞彙也難抹除,試圖遏制學術抄襲與虛假宣傳。

學生開始用 ChatGPT 趕期末論文,水軍可以用它自動生成成千上萬條網路評論,肉眼根本看不出破綻。很多人覺得 AI 寫作就像潑出去的水,收不回來也查不出來。但 OpenAI 顯然不打算坐視不管,他們打算在文字裡悄悄塞進一把密碼鎖。

在得克薩斯大學的一次演講中,OpenAI 研究員 Scott Aaronson 透露,他們已經做出了一套給生成文本打上統計水印的原型方案,而且跑得還挺不錯。

在詞語機率裡悄悄塞進一把暗鎖

AI 生成文本的本質,是在 10 萬個 token 裡不斷根據機率挑選下一個詞。平時系統會加入一定的隨機性,所以就算你輸進一模一樣的提示詞,每次蹦出來的句子也不太一樣。

OpenAI 工程師 Hendrik Kirchner 構建的這個原型,則是把完全隨機變成了偽隨機。他們用一組只有 OpenAI 自己知道的密碼學金鑰,在挑詞的時候給特定的詞序列打分。

對讀文章的普通人來說,語感上沒有任何異常。但只要把這段文字拿去用金鑰檢測,哪怕只有一段話、兩三百個 token,系統就能立刻算出這到底是不是 GPT 寫的。

更厲害的是,這套演算法不是死板地匹配固定片語。就算你把句子的前後順序調換一下,或者隨手刪改幾個詞,文字內部積累的統計特徵依然在,照樣能被識別出來。甚至在一篇長文章裡,它理論上能精準圈出哪幾句是人寫的、哪幾句是 AI 編的。

Aaronson 提到,他們也想過把所有生成出來的文本都塞進一個大數據庫留底備查。但那樣做會引發嚴重的隱私擔憂,最後還是這種不存內容、只在演算法層面做手腳的統計水印更合適。

從防作業抄襲到防機器水軍

OpenAI 之所以這麼急著做水印,是因為濫用的苗頭已經很明顯了。

現在學界已經出現了一個新詞叫 AIgiarism,也就是用 AI 輔助抄襲。Aaronson 直言,現在的 GPT 如果拿去寫期末論文,大部分課程拿個 B 根本不是問題,學生很難頂得住這種誘惑。水印如果做成熟,可以直接接入大學現有的查重系統。

更大的威脅在於虛假資訊和網路水軍。過去要把一個觀點刷上熱搜,可能得在莫斯科租下一整棟樓、僱滿專職水軍。而現在只要給模型寫好設定,幾秒鐘就能批次炮製出成千上萬條風格各異、看似真實的部落格評論。

Aaronson 甚至提到,有人可以用它精準模仿某個真人的寫作習慣,然後故意寫出爭議內容來陷害對方。在他看來,絕大多數惡意使用 AI 的場景,核心都是為了隱瞞 AI 的參與。只要把水印做結實,就能一下子打掉大部分濫用企圖。

為什麼重要

我們認為,OpenAI 搞統計水印這步棋走得相當高明。如果選擇把使用者的所有對話都存起來做資料庫檢索,不僅伺服器吃不消,還會徹底踩爆隱私紅線;而在 token 機率裡植入數學水印,既保護了隱私,又比市面上那些純靠猜測困惑度的第三方檢測工具靠譜得多。

對普通老師、編輯和稽核員來說,這套工具如果上線,絕對是個救命稻草。你不用再去費勁猜這段話是不是學生寫的,跑一遍官方校驗就有結果。不僅能抓作弊,反過來也能保護那些被冤枉的真原創作者。

但這裡的隱患也同樣明顯。這套方案最大的前提,是鑰匙只握在 OpenAI 自己手裡。它只能檢測自己家的 ChatGPT 和 GPT 系列模型,對開源大模型或者別家競品完全無能為力。

換句話說,正規使用者和學生可能會被防住,但真正想搞大規模虛假資訊攻擊的專業水軍,隨時可以轉頭去用開源模型。防君子不防小人的尷尬,恐怕是接下來所有 AI 水印技術都得面對的難題。

來源 (1)

  1. [1]
    techmonitor.ai(在新分頁開啟)原文techmonitor.ai

話題追蹤OpenAI 水印技術

這個話題的歷次新聞,最新的在上面。

  1. OpenAI 研發文本水印:只需一段話,就能抓出 ChatGPT 作弊本則
  2. OpenAI 研發文本水印:微調選詞暗藏「指紋」,幾百字就能揪出 AI 作弊

每日 AI 內容精選