跳到正文
IFAI

AI工具

普林斯顿学生开发 GPTZero:专门抓 ChatGPT 代写的作业

首次发布 传播指数 51

普林斯顿大学学生 Edward Tian 推出检测工具 GPTZero,能快速辨别文章是否出自 ChatGPT。它通过困惑度和句子变化度来判断,上线后引来超万人测试导致服务器一度被挤爆。开发者正持续更新模型,以降低误报率并扩充服务器容量。

高中生还在琢磨怎么用 ChatGPT 偷懒写作业,普林斯顿大学的一位大四学生已经把抓他们的工具做出来了。

22 岁的计算机专业学生 Edward Tian 趁着寒假花几天写了个小工具,名叫 GPTZero。它的功能很直接:把一段文字丢进去,它就能快速判断这到底是真人写的,还是出自 AI 之手。

机器抓机器:困惑度与突发性

ChatGPT 自 2022 年 11 月 30 日上线以来,短短五天就涌进超过 100 万用户。它写出来的文章不仅逻辑通顺,甚至能模仿特定风格,比如莎士比亚或者《纽约客》专栏,拿来应付中学英文作业几乎能以假乱真。《华尔街日报》一位记者甚至靠它通过了 AP 英语考试。

教育界立刻慌了神。纽约市公立学校迅速在校园网络和设备上屏蔽了 ChatGPT,顶尖 AI 学术会议也明令禁止提交完全由 AI 代笔的论文。

Edward Tian 做的 GPTZero,核心是抓两个指标:困惑度(Perplexity)和突发性(Burstiness)。

所谓困惑度,衡量的是句子里词汇的随机程度。如果词语搭配完全在语言模型的预测范围内,困惑度就很低;人类写作往往更有意外性。

突发性则是比较句子和句子之间的节奏变化。AI 生成的内容往往非常工整、平缓,句子与句子之间的复杂度差不多;真人说话写字则忽长忽短,既有复杂长句,也会冷不丁冒出一两句大白话。

在测试中,BuzzFeed 记者用 ChatGPT 写了一篇《哈姆雷特》主题简析,GPTZero 给出的困惑度只有 10,突发性只有 19,精准判定为机器生成;而测试记者自己写的文章前半段时,突发性飙到了 387,被判定为人类。

服务器被挤爆,高中生骂他是告密者

工具一经发布就火了。Edward Tian 发推文演示后,来自瑞士、法国等全球各地的老师纷纷发私信向他求助。

短短几天内,在 Streamlit 上测试公开版的用户就超过了 1 万人。因为访问量太大,1 月 3 日工具一度瘫痪,官网和测试页面双双报错。

伴随关注而来的还有两极分化的反应。投资机构的私信迅速塞满了 Tian 的信箱,但不少青少年在 Twitter 上骂他是「告密者」(narc)。也有用户反馈,它并不是每次都能抓准,依然存在漏网之鱼。

Tian 在后来的 Substack 通讯里提到,他已经更新了模型,大幅降低了误报率。虽然风投很感兴趣,但他目前打算继续免费开放,重点是帮一线的高中和大学英语老师减轻负担。

为什么重要

GPTZero 的走红,把 AI 时代一个最尴尬的现实摆上了台面:造矛的人跑得太快,做盾的人甚至还没入场。

OpenAI 在 2022 年 12 月曾表态要给输出内容打上数字水印,但迟迟没有落地。结果最先站出来给全网教师解围的,居然是一个本科生用几天业余时间赶出来的半成品。对于正在焦头烂额批改作业的老师来说,GPTZero 确实是个值得一试的应急筛查工具,至少能提供一个数据参考。

但我们认为,把这类检测工具当成判卷的「金标准」非常危险。从原理上讲,只要使用者刻意调整提示词、穿插长短句,或者让 AI 生成后再手动微调几个生僻词,突发性和困惑度的算法很容易被绕过。一旦误判率上升,很可能会演变成学生被冤枉作弊的信任危机。

更深层的影响在于,防作弊软件从来无法真正阻止技术普及。纽约公校拔掉网线、学术会议封杀代笔,看起来更像是一种应激反应。Edward Tian 自己也坦言,AI 写作只会越来越强,他支持大家使用 ChatGPT,关键在于建立配套的规则。

这场猫鼠游戏才刚刚开始。接下来,反抄袭软件和检测插件会变成一个迅速膨胀的百亿美元生意,但指望靠代码彻底分清人与机器,恐怕会变得越来越难。

来源 (2)

  1. [1]
    polygon.com(在新标签页打开)原文polygon.com
  2. [2]
    buzzfeednews.com(在新标签页打开)报道buzzfeednews.com

每日 AI 内容精选