알리바바, 실시간 영상 대화 모델 '완 스트리머' 공개…200ms 응답 지연

AI와 대화를 나눌 때 몰입을 깨는 가장 큰 요인은 부자연스러운 정적입니다. 특히 영상 통화 형태의 아바타는 사용자의 말이 끝나고도 한참 뒤에야 어색하게 입을 벙긋거리며 대답하기 일쑤였습니다.

알리바바는 이러한 지연 시간을 대폭 줄인 실시간 인터랙티브 기반 모델 '완 스트리머(Wan Streamer)'를 공개했습니다. AI가 화면 속 사용자를 보고 들으면서, 영상과 음성으로 즉각 대화를 주고받는 환경을 구현했습니다.

모듈 조립 대신 단일 트랜스포머로 통합

기존의 실시간 디지털 휴먼 시스템은 대개 여러 부품을 이어 붙인 파이프라인 형태였습니다. 사용자의 음성을 문자로 바꾸는 ASR, 답변을 생성하는 LLM, 목소리를 내는 TTS, 그리고 입 모양과 표정을 렌더링하는 애니메이션 툴을 단계별로 거쳤습니다. 이 과정마다 지연 시간이 쌓이고 싱크가 어긋나는 문제가 발생했습니다.

완 스트리머는 이 복잡한 단계를 단 하나의 트랜스포머 모델로 해결했습니다. 텍스트, 오디오, 비디오의 입력 토큰과 출력 토큰을 하나의 시퀀스 안에서 교차 처리하며, 블록 인과 어텐션을 통해 점진적인 스트리밍 생성을 수행합니다.

이 덕분에 25fps 환경에서 스트리밍 단위를 160ms 수준까지 줄였고, 모델 측 응답 지연 시간을 약 200ms로 단축했습니다. 350ms 수준의 양방향 네트워크 지연을 더하더라도 전체 상호작용 지연은 약 550ms에 불과해, 1초 미만의 반응 속도를 유지합니다.

또한 전이중(Full-duplex) 통신을 지원합니다. 대화 순번을 엄격하게 나누지 않고, AI가 답변을 출력하는 도중에도 사용자의 음성과 움직임을 멈추지 않고 계속 인식합니다. 사용자가 말을 끊거나 제스처를 취해도 즉각 알아챕니다.

자연스러운 제스처, 하지만 아직은 192p 수준

공개된 무편집 데모 영상 속 아바타는 꽤 생생한 움직임을 보여줍니다. 퀴즈를 풀거나 일상의 피로감을 나누는 대화 도중 손을 흔들고 머리를 쓸어넘기는 등 사람다운 반응을 연출합니다.

다만 지금 당장 온라인에서 직접 사용해 볼 수 있는 서비스는 아닙니다. 이번 v0.1 버전은 아키텍처의 유효성을 검증하기 위한 개념 증명(PoC) 성격이 강하며, 해상도 역시 192p로 상당히 낮습니다. 알리바바 측은 엔드투엔드 설계를 먼저 입증한 뒤, 향후 더 높은 해상도로 확장하겠다는 계획을 밝혔습니다.

왜 중요한가

일반 사용자 입장에서 192p의 저해상도 화면을 당장 매일 쓸 비서로 보기는 어렵습니다. 하지만 음성 스피커에 갇혀 있던 AI가 표정과 제스처를 읽으며 즉각 반응하는 진짜 '영상 대화 상대'로 진화하는 분기점을 보여줍니다.

산업 측면에서는 기존의 조립식 디지털 휴먼 생태계에 상당한 위협이 될 수 있습니다. ASR, LLM, 렌더링 엔진을 개별적으로 조합해 지연 시간 문제를 겪던 기존 솔루션들은, 단일 멀티모달 모델이 대기 시간을 1초 미만으로 단축하는 순간 경쟁력을 잃기 쉽습니다.

알리바바가 처음부터 완전한 엔드투엔드 전이중 스트리밍 구조를 택한 것은 기술적으로 매우 명민한 선택으로 보입니다. 관건은 연산 비용입니다. 초당 25프레임의 영상을 실시간으로 생성하는 작업은 막대한 컴퓨팅 파워를 요구합니다. 해상도를 실용적인 수준으로 끌어올리면서 서버 비용을 얼마나 통제할 수 있느냐가 상용화의 핵심 열쇠가 될 것입니다.