OpenAI 研发文本水印:只需一段话,就能抓出 ChatGPT 作弊
据报道,OpenAI 正测试一种文本水印方案,通过密码学函数在生成 token 时植入人眼难察的隐形标记。只要文本达到几百个 token(约一整段),就能识别是否出自 GPT,即便调整语序或删减词汇也难抹除,试图遏制学术抄袭与虚假宣传。
学生开始用 ChatGPT 赶期末论文,水军可以用它自动生成成千上万条网络评论,肉眼根本看不出破绽。很多人觉得 AI 写作就像泼出去的水,收不回来也查不出来。但 OpenAI 显然不打算坐视不管,他们打算在文字里悄悄塞进一把密码锁。
在得克萨斯大学的一次演讲中,OpenAI 研究员 Scott Aaronson 透露,他们已经做出了一套给生成文本打上统计水印的原型方案,而且跑得还挺不错。
在词语概率里悄悄塞进一把暗锁
AI 生成文本的本质,是在 10 万个 token 里不断根据概率挑选下一个词。平时系统会加入一定的随机性,所以就算你输进一模一样的提示词,每次蹦出来的句子也不太一样。
OpenAI 工程师 Hendrik Kirchner 构建的这个原型,则是把完全随机变成了伪随机。他们用一组只有 OpenAI 自己知道的密码学密钥,在挑词的时候给特定的词序列打分。
对读文章的普通人来说,语感上没有任何异常。但只要把这段文字拿去用密钥检测,哪怕只有一段话、两三百个 token,系统就能立刻算出这到底是不是 GPT 写的。
更厉害的是,这套算法不是死板地匹配固定词组。就算你把句子的前后顺序调换一下,或者随手删改几个词,文字内部积累的统计特征依然在,照样能被识别出来。甚至在一篇长文章里,它理论上能精准圈出哪几句是人写的、哪几句是 AI 编的。
Aaronson 提到,他们也想过把所有生成出来的文本都塞进一个大数据库留底备查。但那样做会引发严重的隐私担忧,最后还是这种不存内容、只在算法层面做手脚的统计水印更合适。
从防作业抄袭到防机器水军
OpenAI 之所以这么急着做水印,是因为滥用的苗头已经很明显了。
现在学界已经出现了一个新词叫 AIgiarism,也就是用 AI 辅助抄袭。Aaronson 直言,现在的 GPT 如果拿去写期末论文,大部分课程拿个 B 根本不是问题,学生很难顶得住这种诱惑。水印如果做成熟,可以直接接入大学现有的查重系统。
更大的威胁在于虚假信息和网络水军。过去要把一个观点刷上热搜,可能得在莫斯科租下一整栋楼、雇满专职水军。而现在只要给模型写好设定,几秒钟就能批量炮制出成千上万条风格各异、看似真实的博客评论。
Aaronson 甚至提到,有人可以用它精准模仿某个真人的写作习惯,然后故意写出争议内容来陷害对方。在他看来,绝大多数恶意使用 AI 的场景,核心都是为了隐瞒 AI 的参与。只要把水印做结实,就能一下子打掉大部分滥用企图。
为什么重要
我们认为,OpenAI 搞统计水印这步棋走得相当高明。如果选择把用户的所有对话都存起来做数据库检索,不仅服务器吃不消,还会彻底踩爆隐私红线;而在 token 概率里植入数学水印,既保护了隐私,又比市面上那些纯靠猜测困惑度的第三方检测工具靠谱得多。
对普通老师、编辑和审核员来说,这套工具如果上线,绝对是个救命稻草。你不用再去费劲猜这段话是不是学生写的,跑一遍官方校验就有结果。不仅能抓作弊,反过来也能保护那些被冤枉的真原创作者。
但这里的隐患也同样明显。这套方案最大的前提,是钥匙只握在 OpenAI 自己手里。它只能检测自己家的 ChatGPT 和 GPT 系列模型,对开源大模型或者别家竞品完全无能为力。
换句话说,正规用户和学生可能会被防住,但真正想搞大规模虚假信息攻击的专业水军,随时可以转头去用开源模型。防君子不防小人的尴尬,恐怕是接下来所有 AI 水印技术都得面对的难题。
来源 (1)
- techmonitor.ai(在新标签页打开)原文techmonitor.ai
话题追踪OpenAI 水印技术
- OpenAI 研发文本水印:只需一段话,就能抓出 ChatGPT 作弊本条
- OpenAI 研发文本水印:微调选词暗藏「指纹」,几百字就能揪出 AI 作弊