재학습 없이 4K 이미지 뽑아내는 'SEGA' 공개…DiT 해상도 한계 극복

AI로 이미지를 만들 때 기본 크기에서는 완벽해 보이던 그림이 포스터나 대형 출력을 위해 해상도를 4K로 올리는 순간 팔다리가 늘어나거나 이상한 질감이 반복되는 현상을 흔히 겪게 됩니다.

최근 이미지 생성 모델의 대세로 자리 잡은 확산 트랜스포머(DiT)는 학습 범위를 벗어난 초고해상도에서 위치 인식이 어긋나며 급격히 무너지는 고질적인 한계를 안고 있습니다.

이 문제를 해결하기 위해 연구진이 NeurIPS 2026에서 발표한 기술이 바로 'SEGA(스펙트럼 에너지 유도 어텐션)'입니다. 막대한 비용이 드는 모델 재학습이나 미세조정 없이, 기존 DiT 모델이 4096×4096 해상도의 선명한 대형 이미지를 안정적으로 출력하도록 돕는 완전한 추론 기반 기법입니다.

일괄 조정이 부른 디테일과 구도의 딜레마

기존에도 모델을 다시 학습시키지 않고 해상도를 늘리기 위해 YaRN, DyPE, UltraImage 같은 기법들이 사용되었습니다. 이들은 주로 회전 위치 임베딩(RoPE)의 외삽과 어텐션 크기 조정을 결합하는 방식을 취했습니다.

하지만 기존 방식은 모든 RoPE 차원에 대해 이미지 내용과 상관없이 동일하고 고정된 비율을 일괄 적용한다는 치명적인 단점이 있었습니다.

이미지에서 큰 구도를 잡는 저주파 성분과 털, 물방울 같은 세밀한 질감을 표현하는 고주파 성분은 전혀 다른 특성을 가집니다. 이를 일괄적으로 늘려버리면 전체적인 구도를 잡으려다 디테일이 뭉개지거나, 디테일을 살리려다 전체 형태가 무너지는 딜레마가 발생했습니다.

푸리에 변환으로 노이즈 단계마다 맞춤 조율

SEGA는 고정된 스케일링 대신, 생성 과정에서 바뀌는 이미지의 주파수 특성을 실시간으로 감지해 동적으로 어텐션을 조절하는 방식을 택했습니다.

노이즈를 제거하는 매 단계에서 DiT는 잠재 표현을 다루게 됩니다. SEGA는 별도의 신경망을 추가하거나 매개변수를 학습시키지 않고, 이 잠재 표현을 그대로 가져와 공간 구조로 재배열한 뒤 고속 푸리에 변환(FFT)을 수행합니다.

이를 통해 현재 화면의 어느 주파수 대역에 에너지가 몰려 있는지 분석합니다.

RoPE의 각 차원은 특정 공간 주파수와 1:1로 대응하므로, SEGA는 스펙트럼 에너지를 위치 임베딩에 직접 매핑할 수 있습니다. 에너지가 부족해 표현이 뭉개지기 쉬운 대역은 스케일을 강하게 키워 구조를 복원하고, 에너지가 너무 높은 대역은 스케일을 낮춰 과도한 증폭과 왜곡을 방지합니다.

이 배율은 차원, 좌표축, 디노이징 단계, 심지어 프롬프트 내용에 따라 매 순간 유연하게 달라집니다.

Flux나 Qwen 같은 대표적인 DiT 모델을 대상으로 진행한 4096×4096 생성 실험에서, 물속을 헤엄치는 북극곰이나 악어 눈의 세밀한 비늘 반사 같은 복잡한 장면도 구도 붕괴 없이 정교한 묘사를 유지하며 기존 기법들을 앞섰습니다.

왜 중요한가

상업용 포스터, 콘셉트 원화, 시각 디자인 분야에서 AI 생성 이미지를 실무에 바로 쓰지 못했던 가장 큰 이유는 대형 해상도에서의 불안정성이었습니다. 작은 이미지를 먼저 뽑은 뒤 업스케일러로 몇 차례 덧칠하는 번거로운 워크플로는 작업 시간을 늘리고 원본의 디테일을 왜곡하기 일쑤였습니다.

SEGA의 가장 큰 장점은 모델의 가중치를 단 하나도 수정하지 않는 추론 단계 기술이라는 점입니다. 오픈소스 커뮤니티나 개발사 입장에서 막대한 그래픽 카드를 들여 모델을 대형 해상도로 다시 학습시킬 필요 없이, 기존 생성 파이프라인에 주파수 계산 로직을 얹는 것만으로 4K 출력을 시도할 수 있습니다.

신경망을 무작정 블랙박스로 취급하지 않고, 고전 신호 처리 기법인 FFT를 활용해 RoPE의 수학적 한계를 보완한 점은 대단히 영리한 접근입니다.

물론 매 단계 주파수 연산을 거치며 약간의 추론 지연이 발생할 수 있고, 베이스 모델에 아예 없던 정보를 무에서 유로 만들어낼 수는 없습니다. 그럼에도 추가 비용 없이 대형 규격 출력을 안정화할 수 있다는 점에서, AI 이미지가 최종 결과물로 직행하는 거리를 크게 단축시켰다고 평가할 수 있습니다.