모나크 RT 공개: RTX 5090 한 장으로 16 FPS 실시간 영상 생성

지금까지 AI로 영상을 생성하려면 클라우드 서버에서 렌더링 진행률을 지켜보며 기다리는 것이 당연했습니다. 초당 수십 프레임 단위의 실시간 생성은 대규모 데이터센터를 둔 빅테크의 전유물에 불과했습니다.

실시간 비디오 확산 모델을 가속하는 프레임워크인 Monarch RT가 공개되며 이러한 한계를 단숨에 허물었습니다. 일반 소비자용 플래그십 그래픽카드인 RTX 5090 단 한 장으로 초당 16프레임(16 FPS)의 실시간 영상 생성을 달성했습니다.

깃허브(GitHub)에는 이미 완전한 소스 코드와 로컬 실행 가이드가 올라와 있어, 개발자들이 즉시 자체 환경에서 구동해볼 수 있습니다.

3D 어텐션의 연산 병목을 뚫어낸 비결

비디오 확산 트랜스포머의 가장 큰 기술적 병목은 시공간 3D 셀프 어텐션의 기하급수적인 연산 비용입니다. 특히 적은 스텝 수와 자기회귀(Autoregressive) 방식으로 동작하는 실시간 환경에서는 시간 경과에 따라 오차가 빠르게 누적되어, 기존의 단순 희소 어텐션 근사 방식들은 쉽게 무너지고 말았습니다.

연구진은 비디오 어텐션이 무작위로 희소한 것이 아니라, 시공간적 위치에 따른 주기적인 구조와 동적인 의미 관계가 결합되어 있다는 점을 포착했습니다.

이에 따라 연구진은 모나크(Monarch) 행렬을 활용해 어텐션을 구조적으로 인수분해하는 기법을 고안했습니다. 타일 기반 파라미터화와 자체 제작한 Triton 커널을 더해 최대 95%의 어텐션 희소도를 달성했습니다.

플래시어텐션 대비 4배 가속, 화질 손실은 5% 미만

최첨단 비디오 모델인 Self-Forcing에 Monarch RT를 적용한 결과, 단일 RTX 5090에서 안정적인 16 FPS 실시간 생성이 가능했습니다.

어텐션 연산 속도는 표준 플래시어텐션(FlashAttention)과 비교해 거의 4배 빨라졌습니다. RTX 5090, H100, B200 GPU에서 각각 FlashAttention-2, 3, 4 커널과 비교했을 때 1.4배에서 최대 11.8배에 이르는 커널 가속을 기록했습니다.

가장 인상적인 부분은 화질입니다. 동일 프롬프트 테스트에서 조밀 어텐션(Dense Attention) 기반 최대 화질의 약 95% 수준을 유지해, 육안으로는 차이를 구별하기 어려울 정도의 완성도를 보여줍니다.

왜 중요한가

우리는 Monarch RT가 실시간 생성형 비디오 기술을 고가의 데이터센터 인프라에서 로컬 워크스테이션 환경으로 끌어내린 결정적 전환점이라고 봅니다.

RTX 5090이 여전히 고가의 하이엔드 GPU이긴 하지만, 수억 원대 서버 클러스터를 임대하는 것에 비하면 인디 개발자나 소규모 스튜디오도 충분히 감당할 수 있는 영역입니다.

단순히 프레임을 건너뛰거나 화질을 뭉개는 편법 대신, 모나크 행렬이라는 수학적 구조화를 통해 영상의 주기성을 정확히 짚어내고 95% 화질을 지켜낸 설계는 대단히 영리합니다.

산업적 측면에서도 단일 카드 16 FPS 구현은 인터랙티브 미디어, 실시간 버추얼 스트리밍, 게임 내 동적 렌더링의 실용화 가능성을 대폭 앞당겼습니다. 향후 관건은 이 기술을 메인스트림급 그래픽카드로 얼마나 더 경량화할 수 있느냐에 달렸습니다.