GIDD 離散擴散架構釋出：讓語言模型學會「自己改錯」

我們平時用 ChatGPT 或 Claude 寫東西，模型都是從左到右一個個字往外蹦。這種自迴歸機制有個致命毛病：說出去的話如潑出去的水，哪怕前面寫錯了，模型也只能硬著頭皮圓謊，根本沒法回頭改。

為了打破這種侷限，學術界一直在嘗試離散擴散模型。但尷尬的是，之前最流行、最有效的掩碼擴散（masked diffusion），本質上是把詞塗黑再還原，一旦揭開就又定死了，依然做不到「反悔」。

研究團隊最近在 arXiv 上公佈了一項新研究，提出了通用插值離散擴散框架，簡稱 GIDD。它直接把掩碼擴散拓展到了任意插值加噪過程，讓語言模型終於有了「自己改錯」的能力。

混合噪聲，給模型留出反悔空間

掩碼擴散之所以不能修改，是因為它的加噪過程太死板，要麼保持原樣，要麼完全被遮蔽。

GIDD 的核心思路是把加噪過程徹底放開。研究者們探索了一種巧妙的混合策略：把掩碼和均勻噪聲結合在一起。

換句話說，文本不僅會被遮擋，還會隨機混入其他噪音詞。這樣模型在去噪生成時，就必須學會識別哪些詞寫得不對，並把它們替換成正確的詞，從而自然解鎖了修改已生成內容的能力。

作者 Dimitri von Rütte 在社交平臺上解釋，GIDD 實際上是將傳統的掩碼擴散推廣到了任意插值加噪過程。

同等算力下，樣本質量達到新高

光能改錯還不夠，生成的文本質量也得跟得上。

研究團隊設計了一種全新的擴散證據下界（ELBO），在匹配相同計算資源的前提下，GIDD 在擴散語言建模領域拿下了同類最佳的效能表現。

實驗表明，這種混合噪聲策略不僅讓模型學會了自我糾正，還顯著提高了整體樣本質量。目前專案的程式碼已經公開，供同行復現和繼續探索。

為什麼重要

自迴歸模型發展到今天，大家都在想辦法解決幻覺和累積錯誤。目前主流的做法都是在外面套殼，比如加一套反思提示詞，或者用樹搜尋強行讓模型多走幾遍，推理成本極高。

我們認為，GIDD 的聰明之處在於它試圖從最底層的生成機制來解決改錯問題。如果一個模型在生成過程中就能順手修掉前面的 bug，很多複雜的外部干預系統可能就失去存在的必要了。

不過對普通使用者和應用開發者來說，它目前還屬於前沿研究成果，距離替代現在的超大模型還很遠。但對於正在研究非自迴歸文本生成的團隊而言，這套開源方案提供了一個極有價值的新範式，證明了擴散模型完全可以在語言領域打出自己的差異化優勢。