OpenAI 推出 CriticGPT：用 GPT-4 给自己挑错，准确率提升 60%

首次发布 2024年6月27日传播指数 36

OpenAI 推出基于 GPT-4 训练的模型 CriticGPT，专门辅助人类标注员找出 ChatGPT 代码中的隐蔽错误。测试显示，人机配合找错的表现比单人高出 60%。OpenAI 正将该类模型整合进 RLHF 流程，以解决模型日益聪明后的对齐难题。

给学生批改作业不算难，但如果学生的水平渐渐超过了老师，甚至开始耍小聪明掩盖漏洞，老师该怎么打分。

这正是现在大模型训练面临的尴尬处境。6 月 27 日，OpenAI 公布了一款专门用来挑刺的模型 CriticGPT。它基于 GPT-4 打造，职责只有一个：当人类标注员给 ChatGPT 的代码写评价时，在旁边帮忙揪出隐藏的 Bug。

故意下毒，再教 AI 捉虫

大模型之所以好用，主要靠人类反馈强化学习，也就是让标注员对比不同回答并打分。但随着 GPT-4 越来越聪明，代码写得越来越长、漏洞越来越隐蔽，普通标注员一眼根本看不出来。

为了训练 CriticGPT，OpenAI 想了一个损招：先让标注员故意往 ChatGPT 生成的代码里塞各种 Bug，再写出抓到 Bug 的示范反馈。

CriticGPT 就是照着这些人为制造的漏洞学会了挑毛病。之后在面对模型自然产生的真实 Bug 时，训练师有 63% 的概率更青睐 CriticGPT 写出的评审意见，因为它的挑刺更少无病呻吟，也没有那么爱凭空捏造问题。

实验数据显示，当人类标注员带着 CriticGPT 一起干活时，写出的代码审查质量在 60% 的情况下胜过了单打独斗的人类。更关键的是，人机配合不仅找得全，还能互相兜底，减少 AI 单独跑出来的幻觉 Bug。

OpenAI 还给它加入了一种在测试阶段搜索奖励模型的机制，可以自由调节挑刺的严格程度，在多找 Bug 和避免误报之间找平衡。

但 OpenAI 自己也承认，CriticGPT 离完美还差得很远。目前它只在比较短的代码片段上做过训练，遇到分散在上下文多个角落的深层逻辑漏洞，它依然无能为力。

更让人头疼的是，AI 依然会产生幻觉。如果 CriticGPT 斩钉截铁地指出了一个根本不存在的 Bug，有时候连人类专家也会被带偏，误以为代码真的写错了。

OpenAI 正在着手把类似 CriticGPT 的模型整合进自家的标注流水线，用来辅助后续更强大模型的对齐工作。

我们认为，CriticGPT 的出现标志着大模型对齐正式进入了模型监督模型的阶段。以往纯靠人工肉眼纠错的做法，在模型智力逼近甚至超过人类专家的拐点上，已经走到了尽头。

对开发者和日常写代码的人来说，这种挑刺工具比单纯的补全代码更有实用价值。大家平常最怕的不是 AI 写不出代码，而是 AI 写出了一段看似天衣无缝、跑起来却在边界条件下崩溃的代码。如果这种评审能力能做成 IDE 插件，会大幅降低排查隐蔽 Bug 的心智负担。

但这种做法背后的隐患也很明显。用一个可能产生幻觉的 AI 去挑另一个 AI 的毛病，人类裁判在中间很容易被双重幻觉绕晕。要是人类为了省事彻底依赖挑刺模型，很可能会被 AI 牵着鼻子走，最终放过那些最深层、最致命的安全隐患。