堪薩斯大學開發學術 AI 偵測器：識別 ChatGPT 論文準確率超 99%

AI 寫的論文到底能不能一眼看穿？市面上的檢測工具經常被噴成玄學，把正經人類學者逼得抓狂，但學術圈自己坐不住了。

由堪薩斯大學主導的一支科研團隊，最近在《Cell Reports Physical Science》期刊上交出了一套專門對付科學論文的分類演算法。根據研究團隊公佈的資料，這套演算法在辨別整篇論文是由人類還是 ChatGPT 撰寫時，準確率超過了 99%，在測試中甚至做到了百分之百命中。

抓 AI 的小辮子，靠的不是魔法而是文風

論文第一作者、堪薩斯大學化學教授 Heather Desaire 把 AI 寫作比喻成玩「兩真一假」的遊戲。AI 從各處拼湊資訊，卻根本沒有事實核查能力，看起來頭頭是道，其實漏洞百出。

為了訓練分類器，研究團隊找來涵蓋生物學到物理學等多個領域的 64 篇科學期刊觀點類文章。他們讓 ChatGPT 模仿同題寫作，拼出了 128 篇偽造文章，共計 1276 個段落用來訓練演算法。測試時又用了兩批共 1210 個段落，整篇判別準確率拉到了 100%，哪怕細化到單個段落，識別率也有 92%。

這個演算法能抓住 ChatGPT，靠的正是科學家和機器之間的行文習慣差異。人類學者寫論文詞彙量明顯更豐富，段落更長，詞彙多樣性也遠高於機器。

標點符號也是破綻。人類科學家更喜歡用分號、括號和問號來組織複雜邏輯，ChatGPT 除了打引號引用之外，標點用得很剋制。

更明顯的是措辭習慣。ChatGPT 往往含糊其辭，很少給出具體的圖表資料或某位同行的名字。而真正的科學論文裡，往往塞滿了轉折與限定詞，比如「however」「but」「although」「because」。科學家習慣留有餘地，AI 卻容易一通下結論。

不過這項成果也自帶免責宣告。研究團隊自己坦言，這只是一項概念驗證研究。測試集一共只有 180 篇文件、約 1200 個段落，樣本量確實偏小。如果論文是 AI 先寫出來，再經過人類稍微潤色調整幾句，這套模型還能不能咬住不放，目前誰也說不準。

為什麼重要

我們認為，這項研究最聰明的地方，在於它放棄了通用文本檢測的幻想，把槍口直接對準了單一垂類。市面上那些號稱通殺一切的 AI 檢測器，誤傷率高到讓大學教授不敢拿來給學生定罪。專攻特定學術文體，反而讓特徵提取變得極度精準。

對普通研究者和期刊編輯部來說，現在急著把這套演算法接入審稿系統還為時過早。它目前的適用範圍僅限於特定格式的觀點綜述，一旦換個期刊風格或者面對深度人機協作修改的稿件，準確率大機率會縮水。

從行業角度看，學術出版正被海量低質 AI 灌水論文逼入死角。如果出版機構能利用這類文體差異建立第一道漏斗，至少能把最粗製濫造的批次生成內容篩出去。但我們也要看到隱患，檢測規則一旦公開，提示詞工程就能針對性地要求 AI 多加分號、多用限定詞，貓鼠遊戲的下一回合立刻就會打響。