알리바바, 단일 H100서 실시간 디지털 휴먼 음성·영상 생성하는 'StreamChar' 공개

지금까지 우리가 접한 디지털 휴먼은 사실상 정적인 얼굴 사진에 입 모양만 맞추는 수준이 대부분이었습니다. 전신을 움직이며 실시간으로 대사를 소화하게 만들면 몇 분 지나지 않아 음성과 입 모양이 엇나가거나 캐릭터의 얼굴이 완전히 무너져버리기 일쑤였습니다.

알리바바 연구팀은 이러한 한계를 정면으로 겨냥한 캐릭터 음성·영상 생성 프레임워크 'StreamChar' 논문을 공개했습니다. 긴 호흡의 계획과 짧은 구간의 생성을 분리하는 구조를 통해, 단 한 장의 H100 GPU에서 전신 캐릭터의 실시간 스트리밍 생성을 구현해냈습니다.

연출과 렌더링을 쪼개어 잡은 안정성

실시간으로 대화형 캐릭터를 생성하려면 대본 일치도, 시간 경과에 따른 외형 일관성, 그리고 엄격한 재생 지연 시간이라는 세 가지 조건을 동시에 맞춰야 합니다.

기존의 청크 단위 자기회귀 방식은 오차가 누적되어 싱크가 밀리거나 외형 왜곡이 일어나기 쉬웠습니다. 또한 지연 시간을 줄이기 위해 사용하는 소수 스텝 증류는 모션의 풍부함과 화질을 깎아먹는 원인이 되었습니다.

StreamChar는 구조적 분리로 이 문제를 풀었습니다. 대본과 이전 문맥을 읽어 프레임 단위 음성 조건을 생성하는 역할은 LLM 오케스트레이터에 맡기고, 짧은 시간 창 안에서 실제 음성과 영상을 함께 깎아내는 작업은 통합 DiT 모델에 전담시켰습니다.

여기에 실시간 롤아웃 과정에서 대사와 음성을 정렬하는 진행 인지 포인터와, 장시간 구동 시 외형 기준점이 되어주는 싱크 청크 메모리를 덧붙였습니다. 이후 2단계 증류 파이프라인으로 최적화해 단일 H100에서 끊김 없이 돌아가는 실시간 스트리밍 파이프라인을 완성했습니다.

왜 중요한가

우리는 StreamChar가 취한 역할 분담 방식이 매우 실용적이라고 봅니다. 장기적인 타임라인과 발화 호흡을 맞추는 일은 LLM에 맡기고, DiT는 단기 노이즈 제거에 집중시키는 구조는 단일 확산 모델이 모든 것을 억지로 감당하려던 기존 시도보다 훨씬 안정적입니다.

업계 관점에서는 가상 인간의 기준선이 얼굴 위주에서 전신 인터랙티브 캐릭터로 넘어가는 계기가 될 수 있습니다. 가상 스트리머, 대화형 게임 NPC, AI 숏폼 콘텐츠 제작 현장에서 단일 그래픽카드로 실시간 구동이 가능해진다는 점은 상용화에 큰 매력입니다.

다만 현재는 연구 논문 형태로 공개된 상태라 코드와 가중치가 어디까지 풀릴지는 지켜봐야 합니다. H100 한 장 역시 개인 창작자에게는 여전히 만만치 않은 비용입니다. 그럼에도 전신 캐릭터의 실시간·장시간 스트리밍이 단일 가속기에서 실제로 동작함을 입증했다는 점에서 기술적 가치는 분명합니다.