OpenAI 推出 AI 文本檢測器：僅能識別 26% 的 AI 寫作內容

自從 ChatGPT 走紅之後，學校老師和內容稽核員最頭痛的問題，就是眼前的作文到底是不是 AI 寫的。針對這個痛點，OpenAI 拿出過一個官方的 AI 文本分類器，試圖自證清白，給外界一把抓出 AI 作弊的尺子。

不過，這個工具交出來的成績單相當尷尬。OpenAI 在自己的英文測試集上跑了一遍，發現它只能抓出 26% 的 AI 生成文本，卻有 9% 的機率把真人寫的文字扣上 AI 的帽子。更具戲劇性的是，到了 2023 年 7 月 20 日，OpenAI 直接宣佈將這款工具下線，原因就是準確率實在太低。

抓作弊的工具，連及格線都沒到

OpenAI 訓練這個分類器的方法，是拿同主題的人類寫作樣本和來自不同機構的 AI 生成文本配對，再去微調一個語言模型。為了儘量不冤枉好人，他們調高了判定閾值，只有在極度確信時才會標上可能是 AI 編寫。

但實際用起來，它的限制多到讓人抓狂。文本如果低於 1000 個字元，它基本處於抓瞎狀態。即便是長文本，只要換成非英語內容或者寫的是程式碼，準確率就會大幅跳水。

更要命的是，面對神經網路在訓練集之外的盲區，這個分類器經常會極其自信地給出完全錯誤的判斷。要是人類稍微改動幾個詞，或者內容本身是高度可預測的資訊，比如按順序羅列前一千個質數，檢測器就會徹底失效。

OpenAI 當初把它放出來，原本是想讓教育工作者、記者和虛假資訊研究員先試用並提供反饋，甚至還專門為老師們準備了一份在課堂面對 ChatGPT 的指南。但事實證明，連自家工具都很難看穿自家模型吐出來的字句。

為什麼重要

我們認為，OpenAI 這次嘗試和隨後的下線，直接戳破了 AI 文本檢測器的神話。對普通教師或內容管理者來說，目前市面上任何宣稱能精準識別 AI 文本的工具，都不能當成定性的唯一依據，拿 26% 的召回率和 9% 的誤判率去抓學生，幾乎必然會引發冤假錯案。

在技術路線上，用模型來檢測模型的做法看起來已經走進了死衚衕。只要人類稍微做點同義詞替換或微調提示詞，對抗樣本就能輕鬆繞過檢測，在攻防戰裡防守方毫無勝算。這種依靠統計特徵的分類器，天然就不具備長期的防禦能力。

OpenAI 承認失敗並及時止損是明智的，但這也給整個行業提了個醒。比起事後檢測這種治標不治本的法子，行業未來的重心必須轉向更底層的文本溯源技術，以及在音訊和影像上建立更可靠的生成標記機制。指望靠一段文字的語感去抓 AI，至少在目前看來根本行不通。