研究人员提出 SEGA：免训练调节 RoPE，让 DiT 稳出 4K 大图

用 AI 画图的人，大概都经历过这种尴尬：在标准尺寸下画面看着很惊艳，一旦心血来潮把分辨率拉到 4K 想做海报，画面要么直接多长出两只手，要么满屏都是重复怪异的纹理。

造成这个问题的根源在于，主流的扩散 Transformer（DiT）模型在训练时都有固定的分辨率上限。一旦强行让它生成超出训练范围的大图，模型的位置感知就会彻底乱套。

针对这个痛点，多位研究人员在 NeurIPS 2026 上提出了一种名为 SEGA 的免训练方法。它的全称是谱能量引导注意力，核心目标很明确：不用花大钱重新训练或微调，就能让现有的 DiT 模型稳稳输出 4096×4096 级别的高清大图。

别再一刀切地拉扯位置编码

在此之前，社区其实也有一些不用重新训练的解法，比如 YaRN、DyPE 或 UltraImage。它们大多是在推理时调整旋转位置编码（RoPE）的外推方式，并配合固定比例的注意力缩放。

但问题恰恰出在「固定」和「一刀切」上。

图像里的高频信息对应毛发、水花这种微观纹理，低频信息则管着整体骨架和构图。如果对所有 RoPE 维度都施加一模一样的缩放，模型就会陷入两难：保住了大体构图，细节就会发虚变糊；要是硬把细节拉满，画面的整体结构又容易崩塌。

SEGA 的思路很巧，它不再搞内容无关的静态缩放，而是把注意力缩放变成了实时的动态调节。

让傅里叶变换当实时向导

在生成图像的每一个去噪步骤中，DiT 内部都维护着一个带噪声的潜变量表示。SEGA 不需要额外挂载任何神经网络，也不增加任何可学习参数，而是直接读取这个潜变量。

它把潜变量还原为空间排布，顺手做一次快速傅里叶变换（FFT），以此摸清当前画面里各个空间频段分别藏着多少能量。

因为 RoPE 的不同维度本来就对应着特定的空间频率，SEGA 就可以顺理成章地对号入座。对于能量偏低、容易欠解析的频段，它给予更强的缩放来挽救结构；对于原本能量就过饱和的高频部分，则调低缩放力度，防止过度放大导致杂色与噪点。

这个缩放比例不是写死的，它会随着维度、坐标轴、不同的去噪步骤甚至是不同的画面内容实时变化。

研究团队在 Flux 和 Qwen 等主流架构上做了对比实验。无论是在 4096×4096 分辨率下生成水下划水的北极熊、鳄鱼眼睛的金色瞳孔反光，还是猫与兔子的下午茶，SEGA 都在保留大框架的同时，稳稳兜住了极细微的毛发与水泡细节，整体表现明显优于此前的同类免训练基准。

为什么重要

对于视觉设计、概念原画和商业海报创作者来说，AI 生成图像最致命的瓶颈往往就在「放大就糊」或者「大图变形」上。为了达到商业印刷或大屏展示的精度，很多人不得不先跑小图，再拿各种放大工具反复修补涂抹，流程繁琐且容易丢失原画神韵。

SEGA 这类方法最吸引人的地方，在于它是一套完全运行在推理端的「免训练插件」。对开发者和开源社区来说，这意味着不需要消耗昂贵的显卡集群去做大分辨率后训练，也不用魔改底层架构，直接在现成开源模型的采样管线里加几行频域计算逻辑，就能把输出上限拉到 4K 级别。

从技术路径来看，我们认为把频域能量分析引入 DiT 的注意力调节是非常聪明的一步。它没有把神经网络当成彻底的黑盒，而是利用成熟的信号处理工具，精准补足了 RoPE 在超分辨率外推上的天然短板。

不过也要看到，SEGA 目前的核心价值在于解决跨分辨率生成的结构崩溃，它并不能凭空创造出模型预训练时完全没见过的知识。此外，在去噪每一步做频域分析难免会增加一点点推理延迟。但相比重新微调模型的巨大开销，这种在推理端花小代价换取大图稳定输出的思路，很可能是把 AI 生图推向工业交付最后一公里的极优解法。