Animate Anyone 2 발표: 캐릭터를 움직일 뿐 아니라 주변 환경과도 자연스럽게 상호작용

한 장의 정지 이미지로 춤추는 영상을 만들어내던 AI 기술은 신기했지만 늘 결정적인 한계가 있었습니다. 인물이 배경 위에 스티커처럼 붕 떠 보이고, 주변 사물을 쥐거나 기댈 때 손이 뭉개지거나 허공을 가르는 현상이 대표적이었습니다.

이 분야의 문을 열었던 Animate Anyone 연구진이 후속작인 Animate Anyone 2를 발표했습니다. 이번 업그레이드의 핵심 목표는 명확합니다. 캐릭터가 주변 공간과 사물을 자연스럽게 인지하고 상호작용하는 환경 행동유도성(environment affordance)을 구현하는 것입니다.

허공에 뜬 인물을 바닥에 안착시키다

기존 확산 모델 기반 애니메이션은 참조 영상에서 추출한 동작 신호에만 집중했습니다. 그 결과 배경과 인물 사이에 물리적인 공간감이 사라지는 문제가 발생했습니다.

Animate Anyone 2는 동작 신호뿐만 아니라 주변 환경의 표현을 별도의 조건 입력으로 받아들입니다. 인물이 제외된 배경 영역을 먼저 규정하고, 모델이 그 공간의 맥락에 맞춰 캐릭터를 채워 넣도록 설계했습니다. 이를 통해 캐릭터는 장면의 원근감과 조명 조건에 자연스럽게 녹아듭니다.

또한 연구진은 형태에 구애받지 않는 마스크 전략(shape-agnostic mask)을 도입해 캐릭터가 격하게 움직여도 배경과의 경계면이 어색하게 끊기지 않도록 처리했습니다.

물건을 쥐어도 무너지지 않는 손

캐릭터 영상 생성에서 가장 까다로운 부분은 물체와의 상호작용입니다. 컵을 들거나 도구를 조작할 때 손가락이 물체를 뚫고 지나가거나 형태가 일그러지기 일쑤였습니다.

Animate Anyone 2는 이를 해결하기 위해 물체 가이더(object guider)를 탑재했습니다. 캐릭터와 닿는 대상 물체의 특징을 정밀하게 추출한 뒤, 공간 블렌딩(spatial blending) 기법을 통해 생성 과정에 주입하는 방식입니다. 덕분에 손과 물체가 만나는 지점의 왜곡이 크게 줄어들었습니다.

여기에 포즈 변조 전략(pose modulation)까지 더해져 이전보다 훨씬 다양하고 동적인 동작 패턴도 안정적으로 소화할 수 있게 되었습니다.

왜 중요한가

우리는 Animate Anyone 2가 캐릭터 생성 AI의 경쟁 기준을 '움직임의 생성'에서 '물리적 설득력'으로 한 단계 끌어올렸다고 봅니다.

인디 게임 개발자나 숏폼 크리에이터에게 인물과 배경의 분리 현상은 AI 영상을 실제 작업물로 쓰지 못하게 만드는 가장 큰 걸림돌이었습니다. 캐릭터가 도구를 자연스럽게 쥐고 가구와 상호작용할 수 있다면, 콘티 제작이나 프로토타입 컷씬 연출에서 실질적인 비용 절감 효과를 기대할 수 있습니다.

기술적 접근 방식도 영리해 보입니다. 전체 파라미터만 무작정 늘리는 대신 환경 조건화와 물체 가이더, 공간 블렌딩으로 문제 영역을 정밀 타격했습니다. 복잡한 상호작용을 분리해 제어하는 방식이 결과물의 완성도를 높이는 데 주효했습니다.

다만 물체가 심하게 가려지거나 복잡하게 변형되는 극한 상황까지 완벽히 대응할 수 있을지는 추가 검증이 필요해 보입니다. 그럼에도 가상 인간을 단색 배경의 스티커 상태에서 벗어나 실제 공간 안으로 걸어 들어가게 만들었다는 점에서 주목할 가치가 충분합니다.