엔비디아 SANA-Streaming 공개, RTX 5090서 1분 영상 실시간 편집

영상 속 인물의 옷을 바꾸거나 배경 날씨를 수정하는 AI 작업은 지금까지 긴 렌더링 시간을 기다려야 하는 번거로운 과정이었습니다.

만약 영상이 재생되는 동안 AI가 실시간으로 다음 장면을 수정해 보여준다면 작업 환경은 완전히 달라집니다.

엔비디아가 실시간 비디오 편집 프레임워크인 'SANA-Streaming'을 오픈소스로 공개했습니다. 20억(2B) 매개변수 크기의 확산 트랜스포머(DiT) 기반으로, 1분 분량의 고해상도 영상을 실시간 편집하도록 설계되었습니다.

원본 영상과 텍스트 명령어만 입력하면, 인물의 원래 움직임과 배경 구조를 그대로 유지한 채 의상, 배경, 스타일만 자연스럽게 변경합니다.

전체 영상을 읽지 않고 스트리밍 방식으로 처리

기존 비디오 확산 모델은 긴 영상을 한 번에 계산하려다 보니 그래픽 메모리가 순식간에 차오르는 한계가 있었습니다.

SANA-Streaming은 선형 순환 메커니즘인 Gated DeltaNet과 일반 어텐션 블록을 교차 배치한 하이브리드 구조를 사용합니다. 과거 영상의 흐름을 가볍게 기억하면서도 현재 프레임의 세부 묘사를 놓치지 않는 방식입니다.

전체 영상을 기다리는 대신 상태 캐싱과 청크 단위 생성을 적용해, 스트리밍 파이프라인처럼 영상을 실시간으로 밀어냅니다.

시간이 지남에 따라 화면이 일그러지는 현상을 막기 위해 순환 역방향 정규화 기법도 도입했습니다. 수정한 프레임에서 다시 원본 프레임을 역추적하도록 훈련시켜 원본의 움직임을 흐트러뜨리지 않습니다.

RTX 5090에서 24 FPS 달성

소프트웨어 아키텍처뿐만 아니라 하드웨어 성능을 끌어내는 엔지니어링 최적화도 돋보입니다.

커널 퓨전과 혼합 정밀도 양자화 기법을 적용해 최신 소비자용 플래그십 그래픽카드에 최적화했습니다.

RTX 5090 기준 1280×704 해상도에서 DiT 연산 속도는 58 FPS, 전체 파이프라인 처리 속도는 초당 24프레임(FPS)을 기록하며 끊김 없는 실시간 기준을 충족했습니다.

엔비디아는 깃허브에 전체 코드를 공개했으며, 허깅페이스를 통해 5초 단편용 양방향 가중치와 1분 분량 스트리밍 가중치를 함께 배포했습니다.

왜 중요한가

영상 제작자에게 이번 공개는 배치 렌더링 위주의 생성형 AI를 실시간 인터랙티브 도구로 끌어올렸다는 의미를 갖습니다. 옷이나 배경을 바꿀 때 슬라이더를 조작하듯 즉각적인 피드백을 받을 수 있습니다.

업계 전반으로 보면 거대 모델 경쟁에 신선한 해법을 제시했습니다. 기억 구조를 영리하게 설계하면 2B 수준의 작은 모델로도 메모리 부담을 덜면서 대형 모델이 달성하기 힘든 실시간성을 확보할 수 있음을 보여줬습니다.

우리는 엔비디아가 모호한 텍스트 기반 영상 생성보다 실제 편집 현장의 수정 수요를 정확히 타격한 점을 높게 평가합니다. 자사 최고급 GPU의 가치를 증명하는 훌륭한 쇼케이스이기도 합니다.

다만 완전한 24 FPS를 뽑아내려면 최상위 하드웨어가 여전히 필요합니다. 일반 사용자의 작업 환경에 깊숙이 들어가기까지는 추가적인 모델 경량화와 최적화 과정이 더 필요해 보입니다.