푸단대·텐센트, 2K 비디오·오디오 동시 생성 모델 'Prism' 오픈소스 공개

Prism은 푸단대학교, 텐센트 훈위안, 저장대학교 연구진이 공동으로 오픈소스 공개한 비디오·오디오 통합 생성 프레임워크입니다. 영상을 먼저 만들고 음향을 나중에 입히는 방식이 아니라, 네이티브 2K 고해상도 비디오와 사운드를 처음부터 동시에 생성하도록 설계되었습니다.

AI가 2K 수준의 고해상도 영상을 학습할 때 전체 어텐션을 적용하면 연산량이 기하급수적으로 폭증합니다. 여기에 오디오 신호까지 결합하면 정지된 배경이나 소리가 나지 않는 불필요한 영역에 연산력이 분산되어 세부 묘사가 뭉개지고 학습 속도가 크게 저하되는 문제가 발생합니다.

동적 희소 어텐션으로 소리와 움직임에 집중

Prism은 이 문제를 해결하기 위해 동적 희소 어텐션 메커니즘을 적용했습니다. 연산력을 화면 전체에 골고루 낭비하지 않고 필요한 곳에만 몰아주는 방식입니다.

Prism은 토큰 시퀀스를 시공간 매크로 영역으로 분할한 뒤, 비디오 특징의 채널별 분산과 오디오-비디오 교차 어텐션의 노름값을 분석합니다. 이를 통해 화면의 어느 부분이 빠르게 움직이고 있는지, 어떤 영역이 현재 발생하는 소리와 직접적으로 연결되어 있는지를 정확히 파악합니다.

이 신호를 바탕으로 각 영역에 최적화된 블록 형태를 동적으로 할당하여, 소리와 움직임의 결합도가 높은 핵심 구간에만 정밀한 연산을 수행합니다. 그 결과 전체 어텐션을 사용하는 방식에 비해 학습 속도를 약 2.5배 단축시켰으며, 사운드와 동작의 싱크는 물론 생성 품질까지 대폭 끌어올렸습니다.

실행 사양과 사용 방법

현재 허깅페이스의 FrancisRing/Prism 저장소에 추론 코드, 데이터 전처리 도구, 그리고 preview_alpha와 preview_beta 두 가지 프리뷰 가중치가 공개되어 있습니다. 기반 모델로는 MOVA-360p를 활용합니다.

텍스트 입력뿐만 아니라 참조 이미지를 통한 생성도 지원하며, 프롬프트 내에 음악, 효과음, 음성 등 구조화된 태그를 넣어 세부적인 사운드 연출을 지시할 수 있습니다.

다만 고해상도 네이티브 생성을 다루는 만큼 하드웨어 진입 장벽은 높습니다. Python 3.10 이상, CUDA 12.4, FlashAttention 환경이 필수입니다. 720p 해상도의 경우 CPU 오프로드와 DeepSpeed를 사용해 80GB VRAM을 갖춘 단일 GPU에서 구동할 수 있지만, 1080p 및 2K 해상도는 FSDP 기반의 다중 GPU 병렬 처리가 권장됩니다. 2K 해상도 출력 시 메모리 부족을 방지하기 위한 VAE 타일링 옵션도 포함되어 있습니다.

왜 중요한가

기존 비디오 생성 분야에서는 영상을 먼저 뽑고 사운드를 후보정으로 합성하는 방식이 일반적이었습니다. Prism은 동적 희소 어텐션을 통해 연산 비용을 현실적인 수준으로 통제하면서, 2K 환경에서도 고품질의 비디오와 오디오를 완벽하게 맞물려 네이티브 생성할 수 있음을 증명했습니다.

하지만 최소 80GB VRAM이 필요한 하드웨어 사양 탓에 일반 개발자나 개인 창작자가 당장 가볍게 다루기는 어렵습니다. 현재로서는 풍부한 컴퓨팅 자원을 보유한 연구 기관과 엔터프라이즈 환경에 적합한 프로젝트이며, 일반 사용자가 실감하기 위해서는 향후 양자화나 경량화 모델의 보급이 필요해 보입니다.