사진 한 장과 오디오로 영화급 영상을 만드는 Wan-S2V 공개

정지된 사진 한 장으로 말하는 인물을 만드는 기술은 그동안 목 윗부분만 부자연스럽게 떨리는 경우가 많았습니다.

연구진이 공개한 Wan-S2V는 정지 이미지 한 장과 오디오를 입력받아 싱크가 맞는 고화질 시네마틱 비디오를 만들어내는 AI 모델입니다.

단순한 대사 전달에 그치지 않고 노래와 감정 연기까지 구현하며, 상반신은 물론 전신 샷 생성까지 지원합니다.

표정 연기부터 전문 카메라 워크까지

기존의 오디오 기반 인물 생성 모델들은 얼굴이 일그러지는 것을 막기 위해 카메라를 가슴 윗선에 고정하는 경우가 대부분이었습니다.

Wan-S2V는 영화와 방송 제작 환경을 정조준했습니다. 입모양뿐 아니라 자연스러운 표정 변화와 신체 움직임, 전문적인 카메라 앵글 이동까지 함께 연출합니다.

또한 프롬프트 명령어를 통해 영상 속 인물의 행동과 주변 환경 요소를 제어할 수 있어 장면에 어울리는 구도를 연출하기 수월합니다.

14B 모델과 수백만 인물 데이터의 결합

자연스러운 동세를 위해 연구진은 데이터 수집에 공을 들였습니다.

OpenHumanVid와 Koala36M 같은 대규모 데이터셋에서 말하기, 노래하기, 춤추기 등 인물 중심 영상을 자동 필터링하고 수작업으로 검수해 수백만 건의 고품질 데이터셋을 구축했습니다.

성능 평가에 사용된 Wan2.2-S2V-14B 모델은 FID 15.66을 기록해 화질 면에서 매우 우수한 결과를 보였습니다.

특히 인물의 정체성 유지도를 나타내는 CSIM 지표에서 0.677을 기록해 EMO2나 Hunyuan-Avatar 같은 비교 모델들을 제치고 가장 높은 일관성을 유지했습니다. 입모양 싱크를 뜻하는 Sync-C는 4.51로 Hunyuan-Avatar의 4.71에는 약간 못 미쳤지만 전반적인 표현 진실성 지표에서 최상위권을 지켰습니다.

왜 중요한가

오디오 기반 영상 생성 기술은 그동안 쇼츠나 가상 뉴스 아나운서 같은 숏폼 콘텐츠에 갇혀 있었습니다.

Wan-S2V는 방향을 명확히 영화적 연출로 잡았습니다. 독립 창작자나 애니메이터 입장에서는 캐릭터 원화 한 장과 녹음 파일만 있으면 역동적인 연기 분량이 포함된 콘티를 곧바로 뽑아낼 수 있습니다.

특히 서사 콘텐츠에서 인물의 얼굴이 장면마다 바뀌는 문제는 치명적인데, Wan-S2V가 신원 일관성 수치에서 두각을 나타냈다는 점은 주목할 만합니다.

다만 입모양 동기화 수치 자체는 기존 특화 모델보다 소폭 낮았으며, 오디오만으로 과격한 전신 동작을 유도할 때 시각적 왜곡이 얼마나 통제될지는 검증이 필요합니다.

그럼에도 14B급 모델로 이 정도 수준의 영화적 연출이 가능하다면, 영상 기획 단계의 사전 시각화 비용을 크게 낮출 것으로 보입니다.