실시간 영상 대화 모델 Wan-Streamer v0.2 공개: 지연 시간 유지하며 해상도 개선

화상 통화 화면 속 AI 아바타가 내 옷차림과 방 안 배경을 곧바로 알아채고 지연 없이 자연스럽게 대화를 이어갑니다. 더 이상 저화질의 답답한 얼굴 클로즈업이 아니라, 손짓과 자세, 주변 환경까지 또렷하게 보이는 중경 화면입니다.

실시간 엔드투엔드 음성·영상 상호작용 모델인 Wan-Streamer v0.2의 연구 논문과 데모가 공개되었습니다. 응답 속도는 그대로 유지하면서 출력 화질을 대폭 끌어올린 것이 핵심입니다.

200ms 지연 시간 유지하며 해상도 확대

기존 v0.1 버전은 텍스트, 음성, 비디오를 단일 트랜스포머의 인과적 타임라인에서 처리하는 구조를 증명했으나, 해상도가 192×336에 불과해 얼굴 중심의 답답한 화면에 머물렀습니다.

이번 v0.2는 25fps의 프레임 속도를 유지하면서 해상도를 640×368로 높였습니다. 모델 측 지연 시간은 약 200ms 수준을 유지하며, 350ms의 왕복 네트워크 환경을 포함해도 전체 상호작용 지연 시간은 약 550ms에 불과합니다. 프롬프트 입력 후 대화 화면이 켜지는 프리필 시간도 약 0.5초로 매우 빠릅니다.

해상도가 오르면서 연출 가능한 구도도 넓어졌습니다. 이제는 인물의 자세, 시선, 손동작은 물론 배경 가구와 질감까지 식별할 수 있는 중경 구도가 지원됩니다. 데모에서는 사용자가 안경을 쓰고 분홍색 셔츠를 입었으며 회색 벽 앞에 있다는 점을 정확히 묘사했으며, 대화 상대 역시 일반적인 인물 외에 아기나 고양이, 가상 캐릭터로 바꿀 수 있습니다.

두뇌와 연산 작업을 나눈 듀얼 구조

고해상도 영상 생성은 엄청난 연산량을 요구합니다. 연구팀은 반응 속도를 해치지 않기 위해 전체 시스템을 씽커(Thinker)와 퍼포머(Performer)로 분리 배포하는 방식을 택했습니다.

단일 GPU에서 작동하는 씽커는 음성 및 영상의 실시간 인코딩, 짧은 트랜스포머 연산을 통한 상태 갱신, KV 캐시 생성, 그리고 이전 프레임의 디코딩을 전담합니다.

반면 연산 비용이 가장 큰 비디오 잠재 변수 생성은 율리시스(Ulysses) 스타일의 문맥 병렬을 사용하는 다중 GPU 퍼포머 그룹이 처리합니다. 길이가 긴 비디오 잠재 시퀀스만 여러 GPU로 나누어 노이즈를 제거하고, 길이가 짧은 오디오 시퀀스는 분할 없이 처리합니다. 씽커가 캐시 정보만 퍼포머로 전달하는 구조 덕분에, 모든 계산과 통신을 160ms 스트리밍 단위 안에 맞출 수 있었습니다.

왜 중요한가

우리는 Wan-Streamer v0.2가 실시간 AI 아바타의 이질감을 줄이는 결정적인 기술적 진전을 보여주었다고 생각합니다. 현재 상용화된 대다수 디지털 휴먼은 대규모 언어 모델, 음성 합성(TTS), 립싱크 모델을 억지로 이어붙인 파이프라인 형태라 지연 시간이 길고 반응이 부자연스럽습니다. 단일 트랜스포머가 영상과 음성을 함께 생성하는 방식은 대화 호흡 면에서 차원이 다른 자연스러움을 제공합니다.

사용자와 개발자 입장에서는 이제 가상 비서나 고객 응대, 게임 내 NPC가 얼굴만 뻐끔거리는 수준을 벗어나 손짓과 시선, 공간감을 활용할 수 있게 되었다는 점이 매력적입니다.

다만 현실적인 한계도 뚜렷합니다. 개별 스트림을 처리하기 위해 다중 GPU 병렬 연산이 필요하다는 점은 대규모 서비스 환경에서 서버 비용 부담으로 이어질 수밖에 없습니다. 현재는 기술 논문과 데모 사이트만 공개된 상태이며 가중치 공개 여부는 미정입니다. 향후 실서비스로 자리 잡으려면 이 높은 시각적 완성도를 얼마나 낮은 하드웨어 비용으로 구현해낼 수 있는지가 관건이 될 것으로 보입니다.