바이트댄스·스탠퍼드, 이미지·영상 확산 모델 4배 가속 'Spectrum' 공개

Spectrum은 바이트댄스와 스탠퍼드 대학교 연구진이 공개한 확산 모델 추론 가속 오픈소스 프레임워크다. 추가 학습 없이 기존 파이프라인에 적용하기만 하면, FLUX.1과 훈위안 비디오(Hunyuan Video) 같은 최신 모델의 생성 속도를 화질 저하 없이 3.5배에서 4.7배까지 끌어올려 준다.

화질 손상 없이 속도를 올리는 원리

일반적인 확산 모델은 수십 번에 걸쳐 신경망을 통과하며 노이즈를 단계적으로 제거한다. 매 스텝마다 무거운 순전파 계산이 반복되기 때문에 시간이 오래 걸릴 수밖에 없다.

Spectrum은 디노이징 과정에서 나타나는 잠재 특징값의 변화를 시간 흐름에 따른 궤적으로 파악한다. 이를 체비쇼프 다항식으로 근사하고 릿지 회귀를 통해 계수를 계산해, 미래 확산 스텝의 특징을 앞서 예측하고 재사용하는 방식이다.

기존 테일러 급수 기반 방식 등은 보폭을 넓히면 오차가 누적되어 화면이 뭉개지기 쉬웠다. 반면 Spectrum은 오차 누적이 억제되도록 설계되어 많은 스텝을 건너뛰어도 원본 수준의 디테일을 유지한다.

실측 성능과 지원 생태계

공개된 벤치마크에 따르면 이미지 모델인 FLUX.1에서 최대 4.79배의 가속을 기록했으며, 결과물은 원본과 육안으로 구별하기 어려울 만큼 정교하다. 비디오 모델인 Wan2.1-14B에서도 4.67배의 속도 향상을 입증했다.

훈위안 비디오의 경우 통상 50스텝이 소요되던 생성을 단 14스텝의 실제 계산만으로 처리해 약 3.5배 빨라졌다. 기존 가속 기법에서 흔히 나타나던 색상 왜곡이나 프레임 왜곡 현상도 거의 발견되지 않는다.

지원 범위도 넓다. FLUX.1, SDXL, Stable Diffusion 3.5-Large, 훈위안 비디오 등을 기본 지원하며, 고성능 서빙 프레임워크인 SGLang에도 공식 통합되었다. 오픈소스 커뮤니티가 제작한 ComfyUI 커스텀 노드도 배포되어 복잡한 터미널 명령어 없이도 손쉽게 연결할 수 있다.

로컬에서 실행하는 법

코드는 GitHub의 hanjq17/Spectrum 저장소에 공개되어 있다. Python 3.10 환경에서 PyTorch, diffusers, transformers, hydra-core 등의 패키지를 설치하면 된다.

Hugging Face에서 대상 모델의 가중치를 내려받은 뒤, text_to_image.py 또는 text_to_video.py 스크립트를 실행해 즉시 테스트할 수 있다. 하이퍼파라미터를 통해 가속 강도와 윈도우 크기를 조절할 수 있으며, 일반 사용자라면 ComfyUI-Spectrum 노드를 연동하는 편이 훨씬 간편하다.

왜 중요한가

로컬 환경에서 영상과 이미지를 생성하는 크리에이터와 개발자에게 매우 실질적인 혜택을 주는 도구다. 막대한 비용이 드는 모델 증류나 파인튜닝 없이도, 순수 알고리즘만으로 추론 시간을 몇 분에서 수십 초 단위로 줄여주기 때문이다.

수학적인 특징 궤적 예측이 복잡한 추가 학습을 대체할 수 있음을 입증했다는 점에서도 기술적 완성도가 높다. 고화질을 유지하면서 작업 속도를 끌어올리고 싶은 사용자라면 바로 도입해 볼 만하다.