跳到正文
IFAI

AI工具

普林斯頓學生開發 GPTZero:專門抓 ChatGPT 代寫的作業

首次發布 傳播指數 51

普林斯頓大學學生 Edward Tian 推出檢測工具 GPTZero,能快速辨別文章是否出自 ChatGPT。它通過困惑度和句子變化度來判斷,上線後引來超萬人測試導致伺服器一度被擠爆。開發者正持續更新模型,以降低誤報率並擴充伺服器容量。

高中生還在琢磨怎麼用 ChatGPT 偷懶寫作業,普林斯頓大學的一位大四學生已經把抓他們的工具做出來了。

22 歲的計算機專業學生 Edward Tian 趁著寒假花幾天寫了個小工具,名叫 GPTZero。它的功能很直接:把一段文字丟進去,它就能快速判斷這到底是真人寫的,還是出自 AI 之手。

機器抓機器:困惑度與突發性

ChatGPT 自 2022 年 11 月 30 日上線以來,短短五天就湧進超過 100 萬用戶。它寫出來的文章不僅邏輯通順,甚至能模仿特定風格,比如莎士比亞或者《紐約客》專欄,拿來應付中學英文作業幾乎能以假亂真。《華爾街日報》一位記者甚至靠它通過了 AP 英語考試。

教育界立刻慌了神。紐約市公立學校迅速在校園網路和裝置上遮蔽了 ChatGPT,頂尖 AI 學術會議也明令禁止提交完全由 AI 代筆的論文。

Edward Tian 做的 GPTZero,核心是抓兩個指標:困惑度(Perplexity)和突發性(Burstiness)。

所謂困惑度,衡量的是句子裡詞彙的隨機程度。如果詞語搭配完全在語言模型的預測範圍內,困惑度就很低;人類寫作往往更有意外性。

突發性則是比較句子和句子之間的節奏變化。AI 生成的內容往往非常工整、平緩,句子與句子之間的複雜度差不多;真人說話寫字則忽長忽短,既有複雜長句,也會冷不丁冒出一兩句大白話。

在測試中,BuzzFeed 記者用 ChatGPT 寫了一篇《哈姆雷特》主題簡析,GPTZero 給出的困惑度只有 10,突發性只有 19,精準判定為機器生成;而測試記者自己寫的文章前半段時,突發性飆到了 387,被判定為人類。

伺服器被擠爆,高中生罵他是告密者

工具一經發布就火了。Edward Tian 發推文演示後,來自瑞士、法國等全球各地的老師紛紛發私信向他求助。

短短幾天內,在 Streamlit 上測試公開版的使用者就超過了 1 萬人。因為訪問量太大,1 月 3 日工具一度癱瘓,官網和測試頁面雙雙報錯。

伴隨關注而來的還有兩極分化的反應。投資機構的私信迅速塞滿了 Tian 的信箱,但不少青少年在 Twitter 上罵他是「告密者」(narc)。也有使用者反饋,它並不是每次都能抓準,依然存在漏網之魚。

Tian 在後來的 Substack 通訊裡提到,他已經更新了模型,大幅降低了誤報率。雖然風投很感興趣,但他目前打算繼續免費開放,重點是幫一線的高中和大學英語老師減輕負擔。

為什麼重要

GPTZero 的走紅,把 AI 時代一個最尷尬的現實擺上了檯面:造矛的人跑得太快,做盾的人甚至還沒入場。

OpenAI 在 2022 年 12 月曾表態要給輸出內容打上數字水印,但遲遲沒有落地。結果最先站出來給全網教師解圍的,居然是一個本科生用幾天業餘時間趕出來的半成品。對於正在焦頭爛額批改作業的老師來說,GPTZero 確實是個值得一試的應急篩查工具,至少能提供一個數據參考。

但我們認為,把這類檢測工具當成判卷的「金標準」非常危險。從原理上講,只要使用者刻意調整提示詞、穿插長短句,或者讓 AI 生成後再手動微調幾個生僻詞,突發性和困惑度的演算法很容易被繞過。一旦誤判率上升,很可能會演變成學生被冤枉作弊的信任危機。

更深層的影響在於,防作弊軟體從來無法真正阻止技術普及。紐約公校拔掉網線、學術會議封殺代筆,看起來更像是一種應激反應。Edward Tian 自己也坦言,AI 寫作只會越來越強,他支援大家使用 ChatGPT,關鍵在於建立配套的規則。

這場貓鼠遊戲才剛剛開始。接下來,反抄襲軟體和檢測外掛會變成一個迅速膨脹的百億美元生意,但指望靠程式碼徹底分清人與機器,恐怕會變得越來越難。

來源 (2)

  1. [1]
    polygon.com(在新分頁開啟)原文polygon.com
  2. [2]
    buzzfeednews.com(在新分頁開啟)報導buzzfeednews.com

每日 AI 內容精選