OpenAI 推出 CriticGPT：用 GPT-4 給自己挑錯，準確率提升 60%

首次發布 2024年6月27日傳播指數 36

OpenAI 推出基於 GPT-4 訓練的模型 CriticGPT，專門輔助人類標註員找出 ChatGPT 程式碼中的隱蔽錯誤。測試顯示，人機配合找錯的表現比單人高出 60%。OpenAI 正將該類模型整合進 RLHF 流程，以解決模型日益聰明後的對齊難題。

給學生批改作業不算難，但如果學生的水平漸漸超過了老師，甚至開始耍小聰明掩蓋漏洞，老師該怎麼打分。

這正是現在大模型訓練面臨的尷尬處境。6 月 27 日，OpenAI 公佈了一款專門用來挑刺的模型 CriticGPT。它基於 GPT-4 打造，職責只有一個：當人類標註員給 ChatGPT 的程式碼寫評價時，在旁邊幫忙揪出隱藏的 Bug。

故意下毒，再教 AI 捉蟲

大模型之所以好用，主要靠人類反饋強化學習，也就是讓標註員對比不同回答並打分。但隨著 GPT-4 越來越聰明，程式碼寫得越來越長、漏洞越來越隱蔽，普通標註員一眼根本看不出來。

為了訓練 CriticGPT，OpenAI 想了一個損招：先讓標註員故意往 ChatGPT 生成的程式碼裡塞各種 Bug，再寫出抓到 Bug 的示範反饋。

CriticGPT 就是照著這些人為製造的漏洞學會了挑毛病。之後在面對模型自然產生的真實 Bug 時，訓練師有 63% 的機率更青睞 CriticGPT 寫出的評審意見，因為它的挑刺更少無病呻吟，也沒有那麼愛憑空捏造問題。

實驗資料顯示，當人類標註員帶著 CriticGPT 一起幹活時，寫出的程式碼審查質量在 60% 的情況下勝過了單打獨鬥的人類。更關鍵的是，人機配合不僅找得全，還能互相兜底，減少 AI 單獨跑出來的幻覺 Bug。

OpenAI 還給它加入了一種在測試階段搜尋獎勵模型的機制，可以自由調節挑刺的嚴格程度，在多找 Bug 和避免誤報之間找平衡。

但 OpenAI 自己也承認，CriticGPT 離完美還差得很遠。目前它只在比較短的程式碼片段上做過訓練，遇到分散在上下文多個角落的深層邏輯漏洞，它依然無能為力。

更讓人頭疼的是，AI 依然會產生幻覺。如果 CriticGPT 斬釘截鐵地指出了一個根本不存在的 Bug，有時候連人類專家也會被帶偏，誤以為程式碼真的寫錯了。

OpenAI 正在著手把類似 CriticGPT 的模型整合進自家的標註流水線，用來輔助後續更強大模型的對齊工作。

我們認為，CriticGPT 的出現標誌著大模型對齊正式進入了模型監督模型的階段。以往純靠人工肉眼糾錯的做法，在模型智力逼近甚至超過人類專家的拐點上，已經走到了盡頭。

對開發者和日常寫程式碼的人來說，這種挑刺工具比單純的補全程式碼更有實用價值。大家平常最怕的不是 AI 寫不出程式碼，而是 AI 寫出了一段看似天衣無縫、跑起來卻在邊界條件下崩潰的程式碼。如果這種評審能力能做成 IDE 外掛，會大幅降低排查隱蔽 Bug 的心智負擔。

但這種做法背後的隱患也很明顯。用一個可能產生幻覺的 AI 去挑另一個 AI 的毛病，人類裁判在中間很容易被雙重幻覺繞暈。要是人類為了省事徹底依賴挑刺模型，很可能會被 AI 牽著鼻子走，最終放過那些最深層、最致命的安全隱患。