Wan Streamer 0.3 공개: 자연어로 실시간 동작 제어하는 가상 캐릭터

지금까지 공개된 대화형 AI 아바타를 경험해 본 사용자라면 특유의 답답함에 익숙할 것입니다. 입 모양 싱크가 맞고 고개를 끄덕이며 시선을 마주쳐도, 화면 속에 갇혀 상반신만 보여주는 ‘정적인 흉상’에 머물러 있었습니다.

실시간 대화 모델 연구인 Wan Streamer가 0.3 버전을 공개하며 가상 캐릭터를 정적인 대화 모델에서 환경과 상호작용하는 동작 제어 모델로 확장했습니다.

기존 v0.1과 v0.2가 실시간 영상 통화 환경에서 입술 싱크, 시선 처리, 미세 표정 같은 대화 기능에 집중했다면, 이번 0.3 버전은 자연어 지시를 바탕으로 캐릭터가 직접 몸을 움직이고 포즈를 취하도록 만들었습니다.

연구팀은 현재 ‘Video = World + Event Stream’이라는 제목의 기술 논문과 시연 결과를 공개했습니다.

비디오를 ‘세계’와 ‘이벤트 스트림’으로 분리

실시간 비디오 생성에서 캐릭터가 큰 동작을 취할 때 가장 큰 문제는 화면 일관성이 깨지는 현상입니다. 손을 들면 옷 무늬가 바뀌거나 고개를 돌리면 배경 방 구조가 흔들리기 쉽습니다.

Wan Streamer 0.3은 전체 비디오를 ‘세계’와 ‘이벤트 스트림’이라는 두 축으로 분리해 이 문제를 해결했습니다.

‘세계’는 캐릭터의 외형, 방의 구조, 조명, 스타일처럼 시간이 지나도 일정하게 유지되어야 하는 요소를 담습니다. 반면 ‘이벤트 스트림’은 대화 음성, 신체 움직임, 카메라 이동, 주변 환경 변화처럼 매 순간 달라지는 사건들을 다룹니다.

실시간 세션이 시작되면 사용자의 카메라 영상, 마이크 음성, 텍스트 입력 역시 이 이벤트 스트림에 직접 편입됩니다. 모델은 일반 비디오 데이터를 학습하며 세계 설정을 바탕으로 다음에 벌어질 이벤트를 자연스럽게 이어갑니다.

괄호 속 자연어로 지시하는 실시간 동작

상호작용 방식에서 가장 돋보이는 부분은 자연어로 대화와 동작을 한 번에 제어한다는 점입니다.

동작 지시는 대사 중간에 괄호 형태로 삽입됩니다. 예를 들어 ‘(풀숲으로 손을 뻗어 초록 잎을 주우며) 내가 뭘 찾았는지 봐봐’나 ‘(놀라서 손으로 입을 가리며) 이렇게 될 줄은 몰랐어’ 같은 방식입니다. 괄호 안에는 물건을 집어 들거나 자세를 바꾸고 특정 방향을 바라보는 등 언어로 설명할 수 있는 거의 모든 행동이 들어갈 수 있습니다.

공개된 데모에서는 ‘손가락으로 브이 자를 그려봐’, ‘양손을 허리에 올려봐’, ‘머리를 정리해 줘’, ‘오른쪽을 봐’, ‘바닥을 내려다봐’ 같은 요청에 캐릭터가 말로 대답하면서 즉각 동작을 수행합니다.

행동과 발화가 동일한 스트림에서 한 번에 렌더링되므로, 별도의 모션 캡처나 사후 합성을 거치지 않아 타이밍이 어색하지 않습니다. 공개된 영상 역시 배속 편집이나 합성 없이 네트워크 지연을 포함한 실제 엔드투엔드 반응 속도를 보여준다고 밝혔습니다.

왜 중요한가

우리는 Wan Streamer 0.3이 기존의 복잡한 3D 그래픽 파이프라인 대신, 비디오 모델 자체에 동작 제어를 자연어 이벤트로 녹여낸 방식이 매우 똑똑한 접근이라고 봅니다.

기존 가상 인간 서비스는 거대언어모델(LLM)로 텍스트를 만들고, 음성 합성(TTS)을 거친 뒤, 3D 리깅이나 후처리 비디오 모델로 동작을 입히는 다단계 구조를 사용했습니다. 이런 방식은 지연 시간이 길고 전체 시스템이 무거워질 수밖에 없습니다. 비디오를 ‘세계’와 ‘이벤트 스트림’으로 정의해 엔드투엔드로 생성하는 구조는 풀듀플렉스 대화형 에이전트로 가는 중요한 이정표가 될 수 있습니다.

다만 일반 사용자가 지금 당장 직접 실행해 볼 수 있는 단계는 아닙니다. 현재는 기술 논문과 시연 영상만 공개되었으며, 모델 가중치나 실시간 실행 코드는 배포되지 않았습니다. 대규모 비디오 연산을 요하는 모델 특성상, 실제 서비스 가능한 수준의 인프라 비용과 실시간 최적화를 달성할 수 있을지가 상용화의 핵심 관건이 될 것입니다.