푸단대, 텍스트로 실시간 음성·영상 아바타 생성하는 'Hallo-Live' 공개

Hallo-Live는 푸단대학교 연구진이 공개한 텍스트 기반 실시간 스트리밍 음성·영상 아바타 생성 프레임워크입니다. 텍스트를 입력하면 그에 맞춘 인물 영상과 음성을 실시간으로 동시에 합성해 주며, 상호작용형 디지털 휴먼의 핵심 난제였던 긴 응답 지연과 입 모양 불일치 문제를 해결하도록 설계되었습니다.

기존의 오디오-비주얼 확산 모델은 연산량이 지나치게 많아 실시간 상호작용에 쓰기 어려웠고, 무리하게 압축하면 화질이 깨지거나 싱크가 어긋났습니다. Hallo-Live는 비동기 듀얼 스트림 확산 기술과 인간 선호도 기반 증류 기법을 결합해 이 한계를 극복했습니다.

싱크와 지연 시간을 동시에 잡은 원리

스트리밍 생성에서 입 모양이 밀리지 않도록 연구진은 Future-Expanding Attention 구조를 도입했습니다. 각 비디오 블록이 현재 동기화된 오디오뿐만 아니라 직후의 짧은 음소 단서를 미리 참조할 수 있게 만들어, 발음 지연 현상을 크게 줄였습니다.

또한 적은 생성 스텝으로도 품질을 유지하기 위해 HP-DMD라는 인간 중심 선호도 유도 증류 방식을 적용했습니다. 시각적 사실성, 음성 자연스러움, 오디오-비디오 동기화 보상을 활용해 학습 샘플 가중치를 재조정함으로써, 압축 과정에서 흔히 발생하는 세부 묘사 뭉개짐을 방지했습니다.

구동 환경과 성능 지표

벤치마크 결과에 따르면 Hallo-Live는 엔비디아 H200 GPU 2대 환경에서 20.38 FPS의 생성 속도와 0.94초의 지연 시간을 기록했습니다.

기존 티처 모델인 Ovi와 비교해 처리량은 16.0배 향상되었고 지연 시간은 99.3배 단축되었습니다. VideoAlign 종합 점수와 싱크 신뢰도 점수에서 티처 모델과 대등한 수준을 유지했으며, 실사 인물, 다중 화자, 스타일화된 아바타 등 다양한 시나리오에서도 안정적인 일반화 성능을 보였습니다.

관련 논문과 세부 연구 내용은 arXiv(2604.23632)를 통해 확인할 수 있습니다.

왜 중요한가

실시간 AI 에이전트나 가상 인터랙션 솔루션을 개발 중이라면 주목할 가치가 충분합니다. 음성을 먼저 만들고 비디오를 덧붙이는 복잡한 파이프라인 대신, 텍스트에서 음성과 영상을 일체형으로 스트리밍하면서 1초 미만 지연을 달성할 수 있음을 증명했기 때문입니다.

음소 선행 예측과 다중 보상 증류를 결합한 접근법은 매우 효율적이지만, 20 FPS 구동을 위해 고성능 H200 2대가 필요하다는 점은 진입 장벽입니다. 향후 단일 상용 GPU나 엔드포인트 디바이스 수준으로 경량화될 수 있는지가 상용화의 핵심 분기점이 될 것으로 보입니다.