넷플릭스, 영상 스타일 변환 'ID-V2V' 공개: 얼굴 왜곡 없이 스타일만 교체

넷플릭스 산하 아이라인 랩스(Eyeline Labs)가 오픈소스로 공개한 'ID-V2V'는 영상의 스타일 변환을 위한 프레임워크입니다. 영상 속 기준이 되는 키프레임 한 장만 수정하면 새로운 화풍과 조명, 배경을 영상 전체로 자연스럽게 확장하면서도 인물의 고유한 얼굴, 미세한 표정, 시선, 립싱크를 원본 그대로 고정해 줍니다.

그동안 AI로 비디오 스타일을 바꾸려 하면 인물의 얼굴이 완전히 뭉개지거나 연기 톤이 기괴하게 일그러지는 문제가 늘 발목을 잡았습니다. ID-V2V는 1인 장면뿐 아니라 다중 인물 장면도 안정적으로 지원하며, 배경을 유지한 채 빛의 방향과 질감만 바꾸는 '비디오 리라이팅' 작업에도 곧바로 투입할 수 있습니다.

어긋난 첫 프레임 자동 보정과 독창적인 학습 방식

실제 작업 시에는 보통 나노바나나(NanoBanana) 같은 이미지 편집 도구로 첫 프레임을 먼저 수정하게 됩니다. 하지만 이런 도구로 가공한 이미지는 원본 영상의 첫 프레임과 자세나 표정이 미세하게 어긋나기 일쑤입니다.

ID-V2V는 이 오차를 유연하게 처리합니다. 첫 프레임은 사용자가 수정한 이미지를 그대로 반영하지만, 두 번째 프레임부터는 알고리즘이 스스로 원본 영상의 얼굴과 연기 데이터로 정렬을 다시 맞춰 자연스러운 움직임을 이어갑니다. 픽셀 단위로 완벽하게 일치하는 키프레임을 만드느라 씨름할 필요가 없는 셈입니다.

학습 데이터를 확보한 방식도 영리합니다. 현실에서는 같은 인물이 동일한 연기를 서로 다른 스타일로 펼치는 쌍둥이 영상을 구하기가 불가능합니다. 기존 방식처럼 랜드마크나 저차원 임베딩에 의존하면 표정이 어색해지는 한계가 뚜렷했습니다.

연구진은 얼굴 보존과 장면 생성을 공간적으로 분리했습니다. 원본 영상에서 얼굴 영역만 추출해 일반 조명으로 변환한 뒤, 이를 다시 영화적 조명으로 복원하도록 모델을 훈련시켰습니다. 이 과정에서 얼굴 외의 가려진 몸과 배경도 함께 생성하도록 유도해, 단 한 편의 영상만으로 완벽하게 정렬된 학습 쌍을 자체 구축했습니다.

최대 720p 지원과 80GB 하드웨어 장벽

출력 사양 면에서 ID-V2V는 현재 최대 720p 해상도까지 지원합니다. 콘셉트 기획이나 프리비즈, 룩 개발 단계에는 유용하지만 최종 납품용 영상으로 쓰기에는 아직 아쉬운 수준입니다.

로컬 구동 장벽도 만만치 않습니다. 메인 모델의 크기가 약 80GB에 달해 일반적인 노트북이나 보급형 그래픽카드로는 구동이 불가능하며, 최고급 소비자용 GPU나 전문 워크스테이션이 갖춰져야 합니다.

현재 깃허브(GitHub) 페이지에 모델 다운로드 및 로컬 실행을 위한 구체적인 가이드가 공개되어 있습니다.

왜 중요한가

영상 후반 작업자나 1인 크리에이터에게 ID-V2V가 주는 가장 큰 가치는 배우의 연기 디테일을 온전히 지켜낸다는 점입니다. 조명을 다시 세팅하거나 배경 분위기를 바꾸기 위해 막대한 비용을 들여 재촬영하거나 일일이 합성할 필요 없이, 키프레임 하나로 영상 전체의 톤을 조율할 수 있는 가능성을 열었습니다.

다만 80GB에 육박하는 거대한 모델 용량과 720p라는 해상도 제한 때문에 당장은 고사양 장비를 갖춘 전문 스튜디오의 테스트 베드 성격이 강합니다. 향후 오픈소스 커뮤니티를 통해 경량화 모델이 나오고 해상도가 1080p 이상으로 개선된다면, 영상 제작 파이프라인의 실질적인 표준 도구로 자리 잡을 것으로 보입니다.