再学習なしで4K生成の破綻を防ぐ「SEGA」登場　DiTの超解像度生成を安定化

AIで画像を生成するとき、標準サイズでは美しく仕上がるのに、ポスター用に解像度を4Kへ引き上げた途端、被写体の形が崩れたり不自然な模様がループしたりする現象に悩まされた人は多いはずです。

現在の画像生成で主流となったDiffusion Transformer（DiT）は、学習時よりも大きな解像度で生成しようとすると、位置情報の認識が追いつかずに破綻してしまう弱点を持っています。

この課題を解決するため、研究チームがNeurIPS 2026で発表したのが「SEGA（Spectral-Energy Guided Attention）」です。高額な再学習や追加ファインチューニングを一切行わず、既存のDiTモデルのまま4096×4096クラスの高解像度画像を安定して出力できるようにする手法です。

一律のスケーリングが破綻を招いていた

これまでにも、学習を行わずに推論時の工夫だけで超解像度を狙う手法として、YaRNやDyPE、UltraImageなどが存在しました。これらは回転位置埋め込み（RoPE）の外挿とアテンションの縮小を組み合わせて対処しようとします。

しかし、従来手法はすべてのRoPE次元に対して一律で、かつ画像の内容を考慮しない固定のスケーリングを適用していました。

画像には全体の構図を決める低周波成分と、毛並みや水しぶきなどの細部を担う高周波成分が混在しています。これらを同じ比率で拡大縮小してしまうと、大まかな構図を保とうとすれば細部がぼやけ、細部を強調しようとすれば全体の形がバラバラになるというジレンマに陥っていました。

フーリエ変換でノイズ除去をリアルタイムに誘導

SEGAのアプローチは、固定スケールを捨てて、生成中の画像状態に合わせた動的スケーリングに切り替える点にあります。

ノイズ除去の各ステップにおいて、DiTは内部にノイズ混じりの潜在表現を保持しています。SEGAは新たなニューラルネットワークや追加パラメータを一切足さず、この潜在表現を直接読み取ります。

潜在表現を空間配置に戻して高速フーリエ変換（FFT）をかけ、どの周波数帯にどれだけのエネルギーが集まっているかを推定します。

RoPEの各次元は特定の空間周波数に対応しているため、SEGAはそのスペクトルエネルギーを位置埋め込みへ直接マッピングします。エネルギーが足りず潰れがちな周波数帯には強めのスケールを当てて構造を補強し、すでに強いエネルギーを持つ帯域には控えめにスケーリングして過剰な乱れを防ぎます。

この補正値は、次元ごと、座標軸ごと、さらにはステップや画像の内容ごとにリアルタイムで変動します。

FluxやQwenといったモデルを使った検証では、水中で泳ぐホッキョクグマやナイルワニの瞳の反射といった4096×4096のプロンプトにおいて、従来の学習不要手法を明確に上回る構図の安定性と微細なディテール描写を両立させました。

なぜ重要か

コンセプトアートや広告デザインの現場において、「拡大すると破綻する」問題はAI画像を実務で直接納品する際の最大の壁でした。一度小さく生成してからアップスケーラーにかけるワークフローは手間がかかり、意図した質感が失われる原因にもなっていました。

SEGAの最大の強みは、モデルの重みを弄らない「推論時完結型」である点です。開発者やオープンソースコミュニティは、膨大な計算資源を使って巨大モデルを高解像度向けに再学習させる必要がなく、既存のパイプラインに数行の処理を差し込むだけで4K出力の安定化を試せます。

古典的な信号処理技術であるFFTを現代のトランスフォーマー構造と組み合わせたアプローチは、非常に理にかなっています。モデルを単なるブラックボックスとして扱わず、位置埋め込みの数理的特性に基づいて制御している点が秀逸です。

毎ステップの周波数解析による推論速度へのわずかな影響や、元モデルが知らない知識までは補えないという前提はあるものの、追加コストをかけずに大判出力を実用レベルへ引き上げるアプローチとして注目に値します。