GIDD 离散扩散架构发布：让语言模型学会「自己改错」

我们平时用 ChatGPT 或 Claude 写东西，模型都是从左到右一个个字往外蹦。这种自回归机制有个致命毛病：说出去的话如泼出去的水，哪怕前面写错了，模型也只能硬着头皮圆谎，根本没法回头改。

为了打破这种局限，学术界一直在尝试离散扩散模型。但尴尬的是，之前最流行、最有效的掩码扩散（masked diffusion），本质上是把词涂黑再还原，一旦揭开就又定死了，依然做不到「反悔」。

研究团队最近在 arXiv 上公布了一项新研究，提出了通用插值离散扩散框架，简称 GIDD。它直接把掩码扩散拓展到了任意插值加噪过程，让语言模型终于有了「自己改错」的能力。

混合噪声，给模型留出反悔空间

掩码扩散之所以不能修改，是因为它的加噪过程太死板，要么保持原样，要么完全被遮蔽。

GIDD 的核心思路是把加噪过程彻底放开。研究者们探索了一种巧妙的混合策略：把掩码和均匀噪声结合在一起。

换句话说，文本不仅会被遮挡，还会随机混入其他噪音词。这样模型在去噪生成时，就必须学会识别哪些词写得不对，并把它们替换成正确的词，从而自然解锁了修改已生成内容的能力。

作者 Dimitri von Rütte 在社交平台上解释，GIDD 实际上是将传统的掩码扩散推广到了任意插值加噪过程。

同等算力下，样本质量达到新高

光能改错还不够，生成的文本质量也得跟得上。

研究团队设计了一种全新的扩散证据下界（ELBO），在匹配相同计算资源的前提下，GIDD 在扩散语言建模领域拿下了同类最佳的性能表现。

实验表明，这种混合噪声策略不仅让模型学会了自我纠正，还显著提高了整体样本质量。目前项目的代码已经公开，供同行复现和继续探索。

为什么重要

自回归模型发展到今天，大家都在想办法解决幻觉和累积错误。目前主流的做法都是在外面套壳，比如加一套反思提示词，或者用树搜索强行让模型多走几遍，推理成本极高。

我们认为，GIDD 的聪明之处在于它试图从最底层的生成机制来解决改错问题。如果一个模型在生成过程中就能顺手修掉前面的 bug，很多复杂的外部干预系统可能就失去存在的必要了。

不过对普通用户和应用开发者来说，它目前还属于前沿研究成果，距离替代现在的超大模型还很远。但对于正在研究非自回归文本生成的团队而言，这套开源方案提供了一个极有价值的新范式，证明了扩散模型完全可以在语言领域打出自己的差异化优势。