넷플릭스, 영상 속 물체와 물리 작용까지 지워주는 모델 'VOID' 오픈소스 공개

VOID는 넷플릭스가 오픈소스로 공개한 비디오 편집 모델이다. 영상 속에서 지정한 물체를 지워줄 뿐만 아니라, 그 물체 때문에 발생하던 물리적 상호작용까지 한 번에 정리해 주는 것이 핵심이다.

기존의 비디오 인페인팅 도구들은 단순히 지우개처럼 해당 영역의 픽셀을 배경으로 덮는 데 그쳤다. 이 때문에 상자를 들고 가는 사람을 지우면 상자가 공중에 둥둥 떠 있고, 의자를 지우면 사람이 허공에 앉아 있는 물리적 모순이 발생했다. VOID는 인과관계를 함께 추론하기 때문에, 기타를 든 사람을 지우면 기타가 자연스럽게 바닥으로 떨어지고, 볼링공을 던지는 사람과 공을 지우면 저 멀리 있는 볼링 핀이 쓰러지지 않고 그대로 서 있는 영상을 만들어낸다.

물리 법칙을 이해하는 원리

VOID는 50억 매개변수 규모의 오픈소스 모델인 CogVideoX-Fun-V1.5-5b-InP를 기반으로 미세 조정된 3D 트랜스포머 모델이다. 인페인팅을 바로 실행하는 대신, 비전 언어 파이프라인을 먼저 거쳐 인과관계를 계산한다.

우선 SAM 2와 Gemini를 결합한 파이프라인이 영상을 분석해 물체가 주변에 미치는 물리적 영향을 찾아낸다. 그리고 이를 4가지 값으로 구성된 '쿼드마스크(quadmask)'로 변환한다. 0은 삭제 대상, 63은 겹침 영역, 127은 떨어지는 물체처럼 물리적 영향을 받는 영역, 255는 보존할 배경이다. 확산 모델은 이 지도를 바탕으로 물리적으로 자연스러운 영상을 합성한다.

추론은 2단계로 진행된다. 일반적인 장면은 기본 복원을 담당하는 패스 1(Pass 1)만으로도 충분하다. 클립 길이가 길어져 사물 형태가 왜곡되는 경우에는 옵티컬 플로우 기반의 노이즈 보정이 들어가는 패스 2(Pass 2)를 추가해 영상의 시간적 일관성을 잡는다.

하드웨어 요구 사양과 실행 방법

VOID는 깃허브와 허깅페이스를 통해 코드와 모델 가중치가 모두 공개되었으며, 아파치 2.0 라이선스를 따른다. 쉬운 테스트를 위한 주피터 노트북과 Diffusers 파이프라인도 함께 제공된다.

다만 로컬 구동 사양은 매우 높은 편이다. 약 10GB 크기의 CogVideoX 베이스 모델과 총 22GB 용량의 VOID 가중치 파일을 내려받아야 한다. 기본 해상도는 384x672이며 최대 197프레임까지 처리할 수 있지만, 실행하려면 최소 40GB 이상의 VRAM을 갖춘 엔비디아 A100급 GPU가 필요하다. RTX 3090이나 4090 같은 소비자용 그래픽카드로는 로컬에서 직접 돌리기 어렵다.

구동 환경을 갖춘 개발자라면 공식 깃허브 저장소(Netflix/void-model)를 복제해 포함된 노트북 파일로 바로 실행해볼 수 있다. A100 장비가 없다면 프로젝트 공식 웹사이트의 데모를 확인하거나, 런팟 같은 클라우드 GPU 인스턴스를 대여해 테스트하는 것을 추천한다.

왜 중요한가

영상 편집과 VFX 후반 작업에서 불필요한 사물이나 엑스트라를 지우는 작업은 수작업 로토스코핑과 물리 효과 수정이 필수적인 고된 일이었다. VOID는 사물을 지우면서 생기는 물리적 빈틈을 모델이 스스로 채워준다는 점에서 실무 효율을 크게 끌어올릴 잠재력이 있다. 로봇 공학이나 자율주행 연구진에게도 물리적으로 일관된 반사실적 영상 데이터를 생성하는 유용한 도구가 된다.

넷플릭스가 수준 높은 자체 기술을 아파치 2.0이라는 자유도 높은 라이선스로 공개한 점은 매우 긍정적이다. 다만 40GB 이상의 VRAM이라는 높은 진입장벽이 뚜렷한 한계다. 향후 오픈소스 커뮤니티를 통해 경량화나 양자화 모델이 나와 일반 PC 환경에서도 구동될 수 있다면, 1인 창작자들에게 필수적인 편집 도구로 자리잡을 것으로 보인다.