텐센트, 사물과 상호작용하는 대화형 AI 아바타 'InteractAvatar' 공개

AI로 만든 디지털 아바타를 보면 흔히 마주치는 장면이 있습니다. 얼굴 표정이나 입모양은 그럴듯하지만, 몸은 뻣뻣하게 선 채 허공에서 어색하게 손을 흔드는 모습입니다.

테이블 위의 물건을 집어 들거나 스마트폰을 들어 보여주는 순간, 기존 아바타 기술의 한계는 곧바로 드러나곤 했습니다.

텐센트 등 연구진은 디지털 휴먼이 주변 사물과 자연스럽게 상호작용할 수 있도록 돕는 새로운 프레임워크 'InteractAvatar'를 발표했습니다.

서서 말만 하던 아바타가 물건을 쥐기 시작했다

기존의 Omni Avatar 등 대다수 디지털 휴먼 모델은 캐릭터가 말하고 가볍게 몸을 움직이는 수준에 머물렀으며, 주변 물건을 직접 조작하는 동작은 구현하기 어려웠습니다.

InteractAvatar는 환경 인식 기반의 인간-사물 상호작용(GHOI)을 구현했습니다. 헤드폰을 직접 머리에 착용하거나 스마트폰을 집어 들고 인형을 쓰다듬는 등 섬세한 손동작이 필요한 상호작용을 처리합니다.

정교한 타임스탬프 제어도 강점입니다. 예를 들어 '4초에 사과를 만지고, 12초에 들어 올린다'와 같은 연속적인 텍스트 명령어를 입력하면, 지정된 시간에 맞춰 정확하고 자연스러운 동작을 생성해 냅니다.

인식과 생성을 분리한 듀얼 스트림 구조

사물과 상호작용하는 아바타 영상을 만들 때는 동작의 제어 정확도와 영상 품질 사이에서 균형을 맞추는 일이 까다로운 과제로 꼽힙니다.

텐센트 연구진은 환경 인식 및 모션 계획을 비디오 합성 단계와 분리하는 듀얼 스트림 방식을 고안했습니다.

물체 감지를 통해 주변을 파악하고 명령어에 맞는 모션을 짜는 인식·상호작용 모듈(PIM)과, 생생한 발화 영상을 합성하는 오디오·상호작용 생성 모듈(AIM)이 나란히 작동합니다. 모션-비디오 정렬기를 통해 두 모듈이 병렬로 협업하면서 화질 저하 없이 정확한 물리적 동작을 구현합니다. 연구팀은 성능 검증을 위한 벤치마크 GroundedInter도 함께 구축했습니다.

왜 중요한가

라이브 커머스나 온라인 튜토리얼 제작자에게 물건을 다룰 수 있는 아바타는 실질적인 게임 체인저가 될 수 있습니다. 상품을 손에 쥐고 보여주지 못하는 쇼호스트는 활용도가 크게 떨어질 수밖에 없었기 때문입니다.

영상 생성 업계가 단순한 립싱크 고도화 단계를 지나 물리적 상호작용이라는 다음 과제로 넘어가고 있음을 보여주는 사례이기도 합니다.

저희는 인식 계획과 비디오 렌더링을 깔끔하게 분리해 제어력과 화질을 동시에 잡은 구조가 영리한 접근법이라고 평가합니다. 아직은 연구 단계인 만큼 실시간 대화형 서비스에 곧바로 얹기까지는 추가 검증이 필요해 보이지만, 박제된 듯 서 있던 디지털 휴먼이 현실과 맞물리기 시작했다는 점에서 주목할 가치가 충분합니다.