실시간 대화형 아바타 AI 'LPM 1.0' 공개, 단 한 장 사진으로 45분 영상 구현

지금까지의 AI 음성 대화는 어딘가 어색한 단절감이 있었습니다. 화면 속 추상적인 파형 그래픽을 보고 혼자 떠들거나, 정지된 사진 위에서 입술만 뻐끔거리는 어색한 아바타를 마주해야 했기 때문입니다. 그마저도 대화가 조금만 길어지면 캐릭터 얼굴의 이목구비가 뒤틀리기 일쑤였습니다.

연구진이 공개한 실시간 대화형 아바타 모델 'LPM 1.0'은 바로 이 한계를 정조준합니다. 단 한 장의 인물 사진과 음성 입력만 있으면 스트리밍 방식으로 실시간 영상을 생성하며, 최대 45분 동안 캐릭터의 외형이 일그러지지 않고 안정적으로 유지됩니다.

립싱크를 넘어 상대방 말을 듣고 반응하는 아바타

기존 디지털 휴먼이 소리에 맞춰 입모양만 바꾸는 수준이었다면, LPM 1.0은 대화의 맥락을 '말하기', '듣기', '대기' 세 가지 상태로 나누어 처리합니다.

사용자가 말을 할 때 아바타는 멈춰 있지 않습니다. 입력되는 오디오 신호에 맞춰 고개를 살짝 끄덕이거나 시선을 움직이며 경청하는 듯한 태도를 취합니다. 자신이 발화할 때는 정교한 입술 모양은 물론이고 망설임, 미소, 카메라를 향해 손을 뻗어 하이파이브를 하거나 마이크를 매만지는 미세한 신체 동작까지 자연스럽게 구현합니다.

기술의 핵심은 '다중 세분성 신원 조건화(multi-granularity identity conditioning)' 방식에 있습니다. 메인 사진 외에도 다양한 각도와 표정의 참조 정보를 함께 전달받기 때문에, 고개를 돌리거나 웃을 때 생기는 주름, 입 안의 치아 같은 세부 묘사를 모델이 임의로 왜곡해 그리지 않고 일관성을 유지할 수 있습니다. 실사 인물 사진뿐 아니라 2D 애니메이션 캐릭터, 3D 게임 모델에도 별도 추가 학습 없이 즉시 적용됩니다.

프로젝트를 이끈 아일링 쩡(Ailing Zeng)에 따르면, 이 시스템은 챗GPT나 더우바오(Doubao) 같은 기존 음성 대화 모델과 연결해 실시간 화상 대화 파트너로 활용할 수 있으며, 기존 오디오를 바탕으로 팟캐스트나 영화 대화 영상을 오프라인에서 생성하는 작업도 지원합니다.

뛰어난 완성도, 그러나 배포 계획이 없는 이유

다만 일반 사용자가 이 기술을 당장 써볼 수는 없습니다. 연구진은 LPM 1.0이 순수 연구 프로젝트이며, 모델 가중치나 소스 코드 공개는 물론이고 일반 공개 데모조차 운영할 계획이 없다고 밝혔습니다.

실제 영상 품질과 비교하면 여전히 육안으로 확인 가능한 결함이 남아 있으며 객관적인 품질 격차가 존재한다는 점도 인정했습니다. 데모에 등장하는 모든 인물의 얼굴 역시 실존 인물이 아닌 100% AI 합성 데이터입니다.

가장 큰 걸림돌은 보안과 윤리적 위험입니다. 단 한 장의 사진과 음성만으로 45분 넘게 실시간 상호작용이 가능한 영상 기술은 그 자체로 정교한 실시간 딥페이크 도구가 될 수 있습니다. 화상 통화를 통한 지인 사칭이나 피싱 범죄의 진입 장벽을 극단적으로 낮출 수 있는 만큼, 연구진은 확고한 안전장치와 책임 있는 사용 프레임워크가 마련되기 전까지는 외부 접근을 일절 허용하지 않겠다는 입장입니다.

왜 중요한가

우리는 LPM 1.0이 단순히 긴 영상 생성 시간에 머무르지 않고, 인간 대화의 핵심인 '경청하는 순간'의 리액션을 기술적으로 짚어냈다는 점에 주목합니다.

사람 간의 대화에서 몰입감을 주는 요소는 유창한 말솜씨뿐 아니라 상대방이 내 말을 들으며 짓는 작은 표정 변화와 눈맞춤입니다. 기존 아바타들이 불쾌한 골짜기를 넘지 못했던 이유는 바로 이 대기 상태에서의 기계적인 굳어짐 때문이었습니다. LPM 1.0은 단 한 장의 사진과 오디오 스트림만으로도 그 미묘한 대화의 온도를 살려낼 수 있음을 입증했습니다.

향후 게임 속 살아 숨 쉬는 NPC, 몰입형 가상 비서, 교육 및 상담 인터페이스를 구축하는 데 있어 복잡한 모션 캡처 없이도 훌륭한 대안이 될 수 있습니다.

하지만 동시에 파괴적인 위험성을 안고 있습니다. 사진 한 장으로 지연 시간 없이 타인을 정교하게 흉내 낼 수 있다는 점은 기존의 본인 확인 체계를 뿌리째 흔들 수 있습니다. 코드를 섣불리 오픈소스로 풀지 않고 걸어 잠근 선택은 매우 현명하며, 이제 업계의 과제는 생성 품질의 고도화를 넘어 이 같은 실시간 영상 조작을 판별해 낼 방어선을 구축하는 일입니다.