ViDiHand: 비디오 확산 모델로 가려짐 극복한 3D 손동작 재구성

휴머노이드 로봇에게 사람처럼 정교한 손동작을 가르치려 할 때 가장 큰 골칫거리는 사람의 손을 정확히 추적하는 일입니다.

손가락은 워낙 빠르게 움직이는 데다, 물건을 쥐는 순간 손가락끼리 겹치거나 가려지기 일쑤입니다. 기존 시각 AI는 손이 조금만 가려져도 관절 위치를 놓치거나 기괴한 형태로 뒤틀리곤 했습니다.

연구팀은 사전 학습된 비디오 확산 모델을 활용해 1인칭 영상에서 3D 양손 동작을 정밀하게 복원하는 ViDiHand를 발표했습니다.

비디오 생성 모델이 가진 공간 감각을 빌려오다

기존의 손 동작 복원 파이프라인은 영상에서 손 영역을 먼저 찾아내는 감지기에 크게 의존했습니다. 물체에 손이 심하게 가려지면 감지기부터 실패해 이후의 모든 3D 복원이 연쇄적으로 무너지는 구조였습니다.

프레임 사이를 보간하는 방식을 쓰더라도, 손 관절에 대한 정밀 라벨 데이터 자체가 워낙 부족해 복잡한 상호작용을 학습하기 어려웠습니다.

ViDiHand는 발상을 전환해 비디오 생성 모델의 내부 표현을 가져왔습니다. 방대한 인터넷 영상으로 학습한 비디오 확산 모델은 물체가 가려졌을 때의 움직임이나 3차원 공간의 연속성을 이미 깊이 이해하고 있기 때문입니다.

연구팀은 이 모델을 단순한 특징 추출기로 쓰는 대신, 손 메쉬를 덧씌워 렌더링하는 과제를 통해 미세 조정했습니다. 기존 물리 사전 지식을 유지하면서 손 동작 인식에 특화되도록 다듬은 셈입니다.

별도 감지기 없이 원본 프레임 직행

처리 과정은 군더더기 없이 깔끔합니다. 손을 잘라내는 상위 감지기도, 궤적을 억지로 메우는 보간 모듈도, 추론 시점의 복잡한 최적화 과정도 필요하지 않습니다.

전체 비디오 프레임을 그대로 입력받은 뒤 이중 분기 디코더를 통해 3차원 관절 자세와 2차원 화면 좌표를 동시에 계산해 실제 미터 단위의 정확한 양손 궤적을 뽑아냅니다.

가려짐이 심한 ARCTIC을 비롯해 광각 왜곡이 있는 HOT3D, HOI4D 등 대표적인 벤치마크 테스트에서 ViDiHand는 기존 방법들을 크게 앞서는 매끄러운 궤적을 보여줬습니다. 현재 프로젝트 페이지가 열려 있으며 코드는 곧 공개될 예정입니다.

왜 중요한가

휴머노이드 로봇과 물리적 인공지능 분야의 최대 병목은 사람의 숙련된 손동작 데이터입니다. 모션 캡처 글러브나 멀티 카메라 스튜디오는 비용이 너무 많이 들고 실제 생활 환경으로 확장하기 어렵습니다.

스마트 글래스 등으로 일상적인 영상을 찍기만 해도 정밀한 3D 양손 동작 데이터가 자동으로 추출된다면, 로봇 모방 학습의 데이터 파이프라인은 완전히 달라집니다.

비디오 확산 모델을 단순히 영상을 만들어내는 용도가 아니라, 강건한 3차원 공간 인식 엔진으로 활용한 점이 매우 영리해 보입니다. 부족한 3D 라벨 데이터의 한계를 대규모 생성 모델의 공간 이해력으로 우회한 셈입니다.

확산 모델 기반인 만큼 연산 비용이 크다는 점은 감안해야 하지만, 고품질 로봇 학습 데이터를 생성하는 오프라인 엔진으로서는 매우 강력한 도구가 될 것입니다.