JD, 실시간 동영상 편집 모델 'JoyAI-Video-Edit' 오픈소스 공개

JoyAI-Video-Edit은 자연어 프롬프트로 동영상을 실시간 편집할 수 있는 오픈소스 시스템입니다. 전체 동영상을 다 올릴 때까지 기다릴 필요 없이, 웹캠이나 스트림에서 프레임이 들어오는 즉시 순차적으로 편집합니다.

웹캠을 켜거나 기존 동영상을 넣은 뒤 텍스트 한 줄만 입력하면 됩니다. 인물의 옷을 바꾸거나, 배경을 영국 성 스타일로 전환하거나, 화면 속 특정 객체를 지우고 빈 공간을 자연스럽게 채워 넣을 수 있습니다.

무엇을 할 수 있나

기존의 생성형 동영상 편집은 클립 전체를 서버에 넘겨 오프라인 배치 렌더링을 거쳐야 했기 때문에 인터랙티브한 수정이 불가능했습니다. JoyAI-Video-Edit은 실시간 스트리밍 처리에 초점을 맞춰, 미래 프레임을 미리 보지 않고도 지연 시간 약 1초 수준으로 화면을 즉시 고쳐냅니다.

실제 데모에서는 웹캠 앞에서 사람이 움직이는 동안 프롬프트를 바꿔가며 옷을 연속으로 갈아입히는 모습을 보여줍니다. 수채화풍 같은 전체 스타일 변환뿐 아니라, 영상에 나오는 모든 개를 흰색으로 바꾸고 고깔모자를 씌우며 선글라스를 핫핑크로 바꾸는 정밀한 국소 편집도 처리합니다.

참조 이미지 기반 편집(RV2V)도 지원합니다. 특정 옷 사진을 입력으로 넣으면, 영상 속 모델에게 해당 옷을 입히고 움직임에 맞춰 자연스럽게 형태와 정체성을 유지해 줍니다.

어떻게 구동하나

시스템 구조는 MLLM 조건 인코더, 인과적 비디오 VAE, 그리고 16B(160억) 매개변수의 멀티모달 Diffusion Transformer(MMDiT)로 이뤄져 있습니다. 자기회귀 디퓨전 방식으로 설계되었으며, 분포 매칭 증류와 유한 KV 캐시 추론 기법을 더해 긴 영상에서도 계산량을 균일하게 유지하고 시간 축 드리프트를 줄였습니다.

성능은 매우 뛰어납니다. 720 × 1248 해상도에서 엔드투엔드 기준 30 FPS 처리량을 기록했습니다. 일반 사용자용 그래픽카드 환경에서도 32GB VRAM을 갖춘 단일 RTX 5090에서 840 × 480 해상도 기준 24 FPS 실시간 편집이 가능합니다. 워크스테이션용 RTX PRO 6000 환경에서는 480p에서 24 FPS, 720p에서 16 FPS를 냅니다.

다만 모델 가중치 파일 용량만 32.5 GB에 달해 고사양 GPU가 필수입니다. Python 3.10 환경에서 전용 CUDA 커널을 직접 빌드해야 하며, SageAttention이나 flash-attn-4 설정이 필요합니다.

라이선스는 상업적 활용에 제약이 적은 Apache 2.0으로 배포되었습니다. Hugging Face에 모델 가중치와 웹캠 데모가 올라와 있으며, 장기 동영상 편집 벤치마크인 LongV2VBench와 학습 스크립트도 함께 공개되었습니다.

왜 중요한가

수초짜리 영상을 만들 때도 수분을 기다려야 했던 기존 디퓨전 툴과 달리, 720p 30 FPS라는 프레임레이트로 실시간 상호작용의 문을 열었다는 점이 핵심입니다.

라이브 커머스 가상 피팅, 실시간 방송 특수효과, 인터랙티브 미디어 프로젝트를 준비하는 개발자라면 지금 바로 내려받아 검토해 볼 만합니다. 32GB 이상의 VRAM이 필요해 일반 보급형 PC에서 돌리기는 어렵지만, 로컬에서 구동할 수 있는 실시간 비디오 편집 인프라가 오픈소스로 풀렸다는 사실만으로도 큰 진전입니다.