跳到正文
IFAI

大模型

OpenAI 研发文本水印:只需一段话,就能抓出 ChatGPT 作弊

首次发布 传播指数 46

据报道,OpenAI 正测试一种文本水印方案,通过密码学函数在生成 token 时植入人眼难察的隐形标记。只要文本达到几百个 token(约一整段),就能识别是否出自 GPT,即便调整语序或删减词汇也难抹除,试图遏制学术抄袭与虚假宣传。

学生开始用 ChatGPT 赶期末论文,水军可以用它自动生成成千上万条网络评论,肉眼根本看不出破绽。很多人觉得 AI 写作就像泼出去的水,收不回来也查不出来。但 OpenAI 显然不打算坐视不管,他们打算在文字里悄悄塞进一把密码锁。

在得克萨斯大学的一次演讲中,OpenAI 研究员 Scott Aaronson 透露,他们已经做出了一套给生成文本打上统计水印的原型方案,而且跑得还挺不错。

在词语概率里悄悄塞进一把暗锁

AI 生成文本的本质,是在 10 万个 token 里不断根据概率挑选下一个词。平时系统会加入一定的随机性,所以就算你输进一模一样的提示词,每次蹦出来的句子也不太一样。

OpenAI 工程师 Hendrik Kirchner 构建的这个原型,则是把完全随机变成了伪随机。他们用一组只有 OpenAI 自己知道的密码学密钥,在挑词的时候给特定的词序列打分。

对读文章的普通人来说,语感上没有任何异常。但只要把这段文字拿去用密钥检测,哪怕只有一段话、两三百个 token,系统就能立刻算出这到底是不是 GPT 写的。

更厉害的是,这套算法不是死板地匹配固定词组。就算你把句子的前后顺序调换一下,或者随手删改几个词,文字内部积累的统计特征依然在,照样能被识别出来。甚至在一篇长文章里,它理论上能精准圈出哪几句是人写的、哪几句是 AI 编的。

Aaronson 提到,他们也想过把所有生成出来的文本都塞进一个大数据库留底备查。但那样做会引发严重的隐私担忧,最后还是这种不存内容、只在算法层面做手脚的统计水印更合适。

从防作业抄袭到防机器水军

OpenAI 之所以这么急着做水印,是因为滥用的苗头已经很明显了。

现在学界已经出现了一个新词叫 AIgiarism,也就是用 AI 辅助抄袭。Aaronson 直言,现在的 GPT 如果拿去写期末论文,大部分课程拿个 B 根本不是问题,学生很难顶得住这种诱惑。水印如果做成熟,可以直接接入大学现有的查重系统。

更大的威胁在于虚假信息和网络水军。过去要把一个观点刷上热搜,可能得在莫斯科租下一整栋楼、雇满专职水军。而现在只要给模型写好设定,几秒钟就能批量炮制出成千上万条风格各异、看似真实的博客评论。

Aaronson 甚至提到,有人可以用它精准模仿某个真人的写作习惯,然后故意写出争议内容来陷害对方。在他看来,绝大多数恶意使用 AI 的场景,核心都是为了隐瞒 AI 的参与。只要把水印做结实,就能一下子打掉大部分滥用企图。

为什么重要

我们认为,OpenAI 搞统计水印这步棋走得相当高明。如果选择把用户的所有对话都存起来做数据库检索,不仅服务器吃不消,还会彻底踩爆隐私红线;而在 token 概率里植入数学水印,既保护了隐私,又比市面上那些纯靠猜测困惑度的第三方检测工具靠谱得多。

对普通老师、编辑和审核员来说,这套工具如果上线,绝对是个救命稻草。你不用再去费劲猜这段话是不是学生写的,跑一遍官方校验就有结果。不仅能抓作弊,反过来也能保护那些被冤枉的真原创作者。

但这里的隐患也同样明显。这套方案最大的前提,是钥匙只握在 OpenAI 自己手里。它只能检测自己家的 ChatGPT 和 GPT 系列模型,对开源大模型或者别家竞品完全无能为力。

换句话说,正规用户和学生可能会被防住,但真正想搞大规模虚假信息攻击的专业水军,随时可以转头去用开源模型。防君子不防小人的尴尬,恐怕是接下来所有 AI 水印技术都得面对的难题。

来源 (1)

  1. [1]
    techmonitor.ai(在新标签页打开)原文techmonitor.ai

话题追踪OpenAI 水印技术

这个话题的历次新闻,最新的在上面。

  1. OpenAI 研发文本水印:只需一段话,就能抓出 ChatGPT 作弊本条
  2. OpenAI 研发文本水印:微调选词暗藏「指纹」,几百字就能揪出 AI 作弊

每日 AI 内容精选