메이퇀, 다자 대화 지원하는 디지털 휴먼 모델 'LongCat Avatar 1.5' 오픈소스 공개

배달 플랫폼으로 친숙한 중국 메이퇀이 오픈소스 AI 생태계에서 연이어 인상적인 성과를 내놓고 있습니다. 이번에 공개한 도구는 사진 한 장으로 완성도 높은 발화 영상을 만들어내는 디지털 휴먼 생성 모델입니다.

메이퇀은 'LongCat-Video-Avatar 1.5'를 오픈소스로 공개했습니다. 1.0 버전을 선보인 지 몇 주 만에 내놓은 판올림으로, 상용 서비스 수준의 완성도를 목표로 삼았습니다. 사용법은 간단합니다. 인물 사진 한 장과 오디오 파일을 넣으면, 음성에 맞춰 자연스럽게 말하는 인물 영상을 생성해 줍니다.

기술 보고서와 함께 깃허브 및 허깅페이스에 코드와 모델이 모두 풀렸으며, 일반 로컬 PC에서도 돌려볼 수 있도록 16GB 용량의 INT8 양자화 모델도 함께 제공됩니다.

말하는 사람과 듣는 사람을 명확히 구분하는 자연스러움

기존 디지털 휴먼 생성 도구들은 입 모양이 어색하게 겉돌거나 표정이 굳어 부자연스러운 경우가 많았습니다. 특히 한 화면에 두 명 이상이 등장하면 모두가 동시에 입을 벙긋거리는 촌극이 빚어지기도 했습니다.

LongCat 1.5는 오디오 인코더를 기존 Wav2Vec2에서 Whisper-large로 전면 교체했습니다. 다양한 언어와 발화 리듬을 더 세밀하게 분석해 입술 모양을 맞추는 것은 물론, 고개의 각도와 목, 상체 움직임까지 발화 톤에 맞춰 유기적으로 이어지게 만들었습니다.

데이터 학습 방식도 영리합니다. 발화자 감지 기술을 활용한 다자간 대화 데이터와 함께, 말을 하지 않는 상태의 무음 데이터를 집중적으로 학습시켰습니다. 그 덕분에 두 사람이 대화할 때 현재 말을 하는 인물과 듣고 있는 인물을 정확히 구분하며, 듣는 쪽은 입을 움직이지 않고 자연스러운 눈빛과 미세 표정을 유지합니다. 프레임 단위의 GRPO 정렬을 적용해 손가락 기형이나 영상 떨림을 줄였고, 실사 인물뿐 아니라 애니메이션 캐릭터나 동물에게도 적용할 수 있습니다.

8스텝 생성으로 추론 속도 15배 향상

생성 품질이 아무리 좋아도 렌더링에 수십 분이 걸린다면 실제 프로덕션 파이프라인에 도입하기 어렵습니다. 메이퇀은 이번 버전에서 추론 비용을 획기적으로 낮췄습니다.

분포 매칭 증류(DMD) 기술을 적용해 기존 50단계에 달하던 확산 과정을 단 8스텝으로 압축했습니다. 또한 여러 대형 모델을 동시에 띄우는 대신, 단일 기반 모델에 가벼운 LoRA 어댑터를 조합하는 방식으로 비디오 메모리 부담을 크게 줄였습니다.

그 결과 전체 추론 효율이 약 15배 향상되어 10초 분량의 영상을 약 1분 만에 뽑아낼 수 있습니다. 공식 벤치마크 평가인 EvalTalker에 따르면 Kling Avatar 2.0을 상대로 65.9%, HeyGen을 상대로 54.3%의 선호도 승률을 기록했으며 프레임 건너뜀 현상도 0.8% 수준으로 억제했습니다.

왜 중요한가

대다수 글로벌 기업들이 고품질 디지털 휴먼 기술을 값비싼 엔터프라이즈 구독 서비스 뒤에 숨겨두는 상황에서, 메이퇀이 상용 수준의 모델을 오픈소스로 완전히 공개한 것은 주목할 만합니다.

1인 창작자나 중소 규모 개발사 입장에서 헤이젠(HeyGen) 같은 고가의 솔루션을 구독하지 않고도 자체 인프라에서 고품질 발화 영상을 대량 생성할 수 있는 길이 열렸습니다. 16GB 크기의 INT8 가중치 덕분에 적당한 사양의 단일 GPU 환경에서도 직접 파이프라인을 구축해 테스트해 볼 수 있습니다.

산업 전반으로 보면 단순한 립싱크 아바타 기술의 진입 장벽이 사실상 무너졌습니다. 단일 이미지 기반 생성, 다자간 대화 상호작용, 8스텝 고속 추론까지 오픈소스로 풀린 만큼, 유료 SaaS 기업들은 단순 영상 합성을 넘어선 차별화된 가치를 증명해야 하는 압박을 받게 될 것입니다.

다만 10초 영상에 1분이 걸리는 구조는 배치 작업에는 훌륭하지만 실시간 라이브 상호작용에 투입하기엔 여전히 지연시간이 깁니다. 우리는 이 모델이 라이브 가상 스트리머보다는 이커머스 상품 설명 영상의 대량 생산이나 다국어 로컬라이징 콘텐츠 제작 현장에서 즉각적인 위력을 발휘할 것으로 봅니다.