研究人員提出 SEGA：免訓練調節 RoPE，讓 DiT 穩出 4K 大圖

用 AI 畫圖的人，大概都經歷過這種尷尬：在標準尺寸下畫面看著很驚豔，一旦心血來潮把解析度拉到 4K 想做海報，畫面要麼直接多長出兩隻手，要麼滿屏都是重複怪異的紋理。

造成這個問題的根源在於，主流的擴散 Transformer（DiT）模型在訓練時都有固定的解析度上限。一旦強行讓它生成超出訓練範圍的大圖，模型的位置感知就會徹底亂套。

針對這個痛點，多位研究人員在 NeurIPS 2026 上提出了一種名為 SEGA 的免訓練方法。它的全稱是譜能量引導注意力，核心目標很明確：不用花大錢重新訓練或微調，就能讓現有的 DiT 模型穩穩輸出 4096×4096 級別的高畫質大圖。

別再一刀切地拉扯位置編碼

在此之前，社群其實也有一些不用重新訓練的解法，比如 YaRN、DyPE 或 UltraImage。它們大多是在推理時調整旋轉位置編碼（RoPE）的外推方式，並配合固定比例的注意力縮放。

但問題恰恰出在「固定」和「一刀切」上。

影像裡的高頻資訊對應毛髮、水花這種微觀紋理，低頻資訊則管著整體骨架和構圖。如果對所有 RoPE 維度都施加一模一樣的縮放，模型就會陷入兩難：保住了大體構圖，細節就會發虛變糊；要是硬把細節拉滿，畫面的整體結構又容易崩塌。

SEGA 的思路很巧，它不再搞內容無關的靜態縮放，而是把注意力縮放變成了即時的動態調節。

讓傅立葉變換當即時嚮導

在生成影像的每一個去噪步驟中，DiT 內部都維護著一個帶噪聲的潛變量表示。SEGA 不需要額外掛載任何神經網路，也不增加任何可學習引數，而是直接讀取這個潛變數。

它把潛變數還原為空間排布，順手做一次快速傅立葉變換（FFT），以此摸清當前畫面裡各個空間頻段分別藏著多少能量。

因為 RoPE 的不同維度本來就對應著特定的空間頻率，SEGA 就可以順理成章地對號入座。對於能量偏低、容易欠解析的頻段，它給予更強的縮放來挽救結構；對於原本能量就過飽和的高頻部分，則調低縮放力度，防止過度放大導致雜色與噪點。

這個縮放比例不是寫死的，它會隨著維度、座標軸、不同的去噪步驟甚至是不同的畫面內容即時變化。

研究團隊在 Flux 和 Qwen 等主流架構上做了對比實驗。無論是在 4096×4096 解析度下生成水下划水的北極熊、鱷魚眼睛的金色瞳孔反光，還是貓與兔子的下午茶，SEGA 都在保留大框架的同時，穩穩兜住了極細微的毛髮與水泡細節，整體表現明顯優於此前的同類免訓練基準。

為什麼重要

對於視覺設計、概念原畫和商業海報創作者來說，AI 生成影像最致命的瓶頸往往就在「放大就糊」或者「大圖變形」上。為了達到商業印刷或大屏展示的精度，很多人不得不先跑小圖，再拿各種放大工具反覆修補塗抹，流程繁瑣且容易丟失原畫神韻。

SEGA 這類方法最吸引人的地方，在於它是一套完全執行在推理端的「免訓練外掛」。對開發者和開源社群來說，這意味著不需要消耗昂貴的顯示卡叢集去做大解析度後訓練，也不用魔改底層架構，直接在現成開源模型的取樣管線里加幾行頻域計算邏輯，就能把輸出上限拉到 4K 級別。

從技術路徑來看，我們認為把頻域能量分析引入 DiT 的注意力調節是非常聰明的一步。它沒有把神經網路當成徹底的黑盒，而是利用成熟的訊號處理工具，精準補足了 RoPE 在超解析度外推上的天然短板。

不過也要看到，SEGA 目前的核心價值在於解決跨解析度生成的結構崩潰，它並不能憑空創造出模型預訓練時完全沒見過的知識。此外，在去噪每一步做頻域分析難免會增加一點點推理延遲。但相比重新微調模型的巨大開銷，這種在推理端花小代價換取大圖穩定輸出的思路，很可能是把 AI 生圖推向工業交付最後一公里的極優解法。