OpenAI 推出 AI 文本检测器：仅能识别 26% 的 AI 写作内容

自从 ChatGPT 走红之后，学校老师和内容审核员最头痛的问题，就是眼前的作文到底是不是 AI 写的。针对这个痛点，OpenAI 拿出过一个官方的 AI 文本分类器，试图自证清白，给外界一把抓出 AI 作弊的尺子。

不过，这个工具交出来的成绩单相当尴尬。OpenAI 在自己的英文测试集上跑了一遍，发现它只能抓出 26% 的 AI 生成文本，却有 9% 的概率把真人写的文字扣上 AI 的帽子。更具戏剧性的是，到了 2023 年 7 月 20 日，OpenAI 直接宣布将这款工具下线，原因就是准确率实在太低。

抓作弊的工具，连及格线都没到

OpenAI 训练这个分类器的方法，是拿同主题的人类写作样本和来自不同机构的 AI 生成文本配对，再去微调一个语言模型。为了尽量不冤枉好人，他们调高了判定阈值，只有在极度确信时才会标上可能是 AI 编写。

但实际用起来，它的限制多到让人抓狂。文本如果低于 1000 个字符，它基本处于抓瞎状态。即便是长文本，只要换成非英语内容或者写的是代码，准确率就会大幅跳水。

更要命的是，面对神经网络在训练集之外的盲区，这个分类器经常会极其自信地给出完全错误的判断。要是人类稍微改动几个词，或者内容本身是高度可预测的信息，比如按顺序罗列前一千个质数，检测器就会彻底失效。

OpenAI 当初把它放出来，原本是想让教育工作者、记者和虚假信息研究员先试用并提供反馈，甚至还专门为老师们准备了一份在课堂面对 ChatGPT 的指南。但事实证明，连自家工具都很难看穿自家模型吐出来的字句。

为什么重要

我们认为，OpenAI 这次尝试和随后的下线，直接戳破了 AI 文本检测器的神话。对普通教师或内容管理者来说，目前市面上任何宣称能精准识别 AI 文本的工具，都不能当成定性的唯一依据，拿 26% 的召回率和 9% 的误判率去抓学生，几乎必然会引发冤假错案。

在技术路线上，用模型来检测模型的做法看起来已经走进了死胡同。只要人类稍微做点同义词替换或微调提示词，对抗样本就能轻松绕过检测，在攻防战里防守方毫无胜算。这种依靠统计特征的分类器，天然就不具备长期的防御能力。

OpenAI 承认失败并及时止损是明智的，但这也给整个行业提了个醒。比起事后检测这种治标不治本的法子，行业未来的重心必须转向更底层的文本溯源技术，以及在音频和图像上建立更可靠的生成标记机制。指望靠一段文字的语感去抓 AI，至少在目前看来根本行不通。