OpenAI 研發文本水印:只需一段話,就能抓出 ChatGPT 作弊
據報道,OpenAI 正測試一種文本水印方案,通過密碼學函式在生成 token 時植入人眼難察的隱形標記。只要文本達到幾百個 token(約一整段),就能識別是否出自 GPT,即便調整語序或刪減詞彙也難抹除,試圖遏制學術抄襲與虛假宣傳。
學生開始用 ChatGPT 趕期末論文,水軍可以用它自動生成成千上萬條網路評論,肉眼根本看不出破綻。很多人覺得 AI 寫作就像潑出去的水,收不回來也查不出來。但 OpenAI 顯然不打算坐視不管,他們打算在文字裡悄悄塞進一把密碼鎖。
在得克薩斯大學的一次演講中,OpenAI 研究員 Scott Aaronson 透露,他們已經做出了一套給生成文本打上統計水印的原型方案,而且跑得還挺不錯。
在詞語機率裡悄悄塞進一把暗鎖
AI 生成文本的本質,是在 10 萬個 token 裡不斷根據機率挑選下一個詞。平時系統會加入一定的隨機性,所以就算你輸進一模一樣的提示詞,每次蹦出來的句子也不太一樣。
OpenAI 工程師 Hendrik Kirchner 構建的這個原型,則是把完全隨機變成了偽隨機。他們用一組只有 OpenAI 自己知道的密碼學金鑰,在挑詞的時候給特定的詞序列打分。
對讀文章的普通人來說,語感上沒有任何異常。但只要把這段文字拿去用金鑰檢測,哪怕只有一段話、兩三百個 token,系統就能立刻算出這到底是不是 GPT 寫的。
更厲害的是,這套演算法不是死板地匹配固定片語。就算你把句子的前後順序調換一下,或者隨手刪改幾個詞,文字內部積累的統計特徵依然在,照樣能被識別出來。甚至在一篇長文章裡,它理論上能精準圈出哪幾句是人寫的、哪幾句是 AI 編的。
Aaronson 提到,他們也想過把所有生成出來的文本都塞進一個大數據庫留底備查。但那樣做會引發嚴重的隱私擔憂,最後還是這種不存內容、只在演算法層面做手腳的統計水印更合適。
從防作業抄襲到防機器水軍
OpenAI 之所以這麼急著做水印,是因為濫用的苗頭已經很明顯了。
現在學界已經出現了一個新詞叫 AIgiarism,也就是用 AI 輔助抄襲。Aaronson 直言,現在的 GPT 如果拿去寫期末論文,大部分課程拿個 B 根本不是問題,學生很難頂得住這種誘惑。水印如果做成熟,可以直接接入大學現有的查重系統。
更大的威脅在於虛假資訊和網路水軍。過去要把一個觀點刷上熱搜,可能得在莫斯科租下一整棟樓、僱滿專職水軍。而現在只要給模型寫好設定,幾秒鐘就能批次炮製出成千上萬條風格各異、看似真實的部落格評論。
Aaronson 甚至提到,有人可以用它精準模仿某個真人的寫作習慣,然後故意寫出爭議內容來陷害對方。在他看來,絕大多數惡意使用 AI 的場景,核心都是為了隱瞞 AI 的參與。只要把水印做結實,就能一下子打掉大部分濫用企圖。
為什麼重要
我們認為,OpenAI 搞統計水印這步棋走得相當高明。如果選擇把使用者的所有對話都存起來做資料庫檢索,不僅伺服器吃不消,還會徹底踩爆隱私紅線;而在 token 機率裡植入數學水印,既保護了隱私,又比市面上那些純靠猜測困惑度的第三方檢測工具靠譜得多。
對普通老師、編輯和稽核員來說,這套工具如果上線,絕對是個救命稻草。你不用再去費勁猜這段話是不是學生寫的,跑一遍官方校驗就有結果。不僅能抓作弊,反過來也能保護那些被冤枉的真原創作者。
但這裡的隱患也同樣明顯。這套方案最大的前提,是鑰匙只握在 OpenAI 自己手裡。它只能檢測自己家的 ChatGPT 和 GPT 系列模型,對開源大模型或者別家競品完全無能為力。
換句話說,正規使用者和學生可能會被防住,但真正想搞大規模虛假資訊攻擊的專業水軍,隨時可以轉頭去用開源模型。防君子不防小人的尷尬,恐怕是接下來所有 AI 水印技術都得面對的難題。
來源 (1)
- techmonitor.ai(在新分頁開啟)原文techmonitor.ai
話題追蹤OpenAI 水印技術
- OpenAI 研發文本水印:只需一段話,就能抓出 ChatGPT 作弊本則
- OpenAI 研發文本水印:微調選詞暗藏「指紋」,幾百字就能揪出 AI 作弊