拡散言語モデルに「自己修正能力」を持たせる新手法「GIDD」が登場

現在の主要な言語モデルは、左から右へと次の単語を1つずつ予測して出力する仕組みをとっています。しかし、この方式には「一度出力した単語を後から書き直せない」という構造的な弱点があり、最初の間違いを修正できずに破綻してしまうケースが目立ちます。

その代替案として離散拡散モデルが注目されてきましたが、広く使われているマスク拡散もまた、伏せ字を埋めた後は変更できないため、同じ壁にぶつかっていました。

こうした制約を打破するため、研究チームは新たなフレームワーク「GIDD（Generalized Interpolating Discrete Diffusion）」を発表しました。マスク拡散を拡張し、言語モデル自身が誤りを自己修正できるようにする試みです。

マスクと一様ノイズを混ぜて「書き直し」を可能に

従来のマスク拡散は、単語を隠すかそのまま残すかという単純なノイズ付与しかできませんでした。

GIDDはノイズ付与のプロセスを任意に設計できるよう一般化しました。研究チームはその柔軟性を生かし、マスク処理と一様ノイズを組み合わせるハイブリッド手法を導入しています。

単語をただ伏せるだけでなく、ランダムなノイズ単語を混ぜ込むことで、モデルは生成の過程で誤ったトークンを見つけ出し、正しい単語に置き換える訓練を積むことができます。著者のDimitri von Rütte氏も、従来のマスク拡散を拡張した点に手応えを示しています。

同等の計算コストで最高水準の品質を達成

機能だけでなく、生成クオリティ自体の向上も確認されています。

研究チームは新たな拡散ELBOを導出し、同等の計算リソースを費やした条件下で、拡散言語モデリングにおけるSOTA（最高性能）を達成したと報告しています。

この設計により、文章の生成品質が向上しただけでなく、従来の自己回帰型モデルがずっと苦手としていたトークンの自己修正能力が実証されました。研究コードもすでに公開されています。

なぜ重要か

現在のLLMにおけるエラー修正は、外部のプロンプトによる反省ループや推論時の探索に依存しており、計算コストが膨らむ原因になっています。

GIDDの優れた点は、外部の仕組みに頼るのではなく、拡散モデルの生成プロセスそのものに修正能力を組み込んだところにあります。文章を生成しながら同時に推敲できるアーキテクチャは非常に合理的です。

現時点では学術研究の段階であり、巨大な商用モデルをすぐに置き換えるわけではありません。それでも、自己回帰型一強のパラダイムに対して、拡散モデルならではの独自の強みを示した価値ある一歩だと私たちは考えています。