구글 딥마인드, 4D 복원 및 추적 모델 D4RT 공개… 속도 최대 300배 향상

불과 몇 년 전만 해도 일반 동영상 속에서 움직이는 물체의 3차원 움직임을 전부 추적하려면 엄청난 시간과 장비가 필요했다.

광학 흐름, 깊이 추정, 카메라 위치 추적 등 여러 모델을 복잡하게 이어 붙인 뒤 밤새 연산을 돌려야 겨우 결과를 얻을 수 있었기 때문이다.

구글 딥마인드는 이러한 복잡한 과정을 하나로 묶은 통합 모델 'D4RT(Dynamic 4D Reconstruction and Tracking)'를 공개했다.

일반 2D 영상만으로 3차원 공간과 시간 축을 동시에 파악하며, 기존 최고 수준의 기술 대비 궤적 추적 처리량을 최대 300배까지 끌어올렸다.

4D 인식을 '검색' 방식으로 바꾸다

기존 3D 복원 기술은 물체가 움직이는 순간 화면이 번지거나 왜곡되기 일쑤였다. 물 위를 헤엄치는 백조나 바람에 흔들리는 꽃처럼 형태가 계속 변하는 장면에서는 잔상이 겹쳐 괴물처럼 일그러졌다.

D4RT는 이 문제를 대규모 시공간 기억과 병렬 검색으로 해결했다. 10억 개 파라미터를 가진 트랜스포머 인코더가 영상 전체를 먼저 읽어 들인 뒤 전역 시공간 표현으로 압축한다.

영상에 대한 기억이 완성되고 나면, 이후의 4D 복원 작업은 간단한 쿼리 질의로 바뀐다.

특정 시점의 픽셀이 다른 시점, 다른 카메라 각도에서 3차원 어디에 위치하는지 디코더에 질문하면 좌표가 즉시 출력되는 식이다. 질감이 비슷한 영역을 혼동하지 않도록 9x9 픽셀 조각을 질의에 함께 제공하는 꼼꼼한 설계도 더했다.

모든 질의가 서로 간섭하지 않고 독립적으로 동작하기 때문에 하드웨어의 병렬 연산 능력을 극대화할 수 있다.

300배 속도 향상과 남겨진 과제

딥마인드 발표에 따르면 D4RT는 1분 분량의 영상을 약 5초 만에 처리할 수 있다.

여기서 언급된 300배 향상은 동일한 프레임 레이트에서 동시에 추적할 수 있는 3D 궤적의 수를 뜻한다. 24 FPS 기준 기존 모델인 SpatialTrackerV2가 84개의 궤적을 추적할 때 D4RT는 1570개를 동시에 처리하며, 이전 세대 기술인 DELTA와 비교하면 314배에 달하는 격차다.

화면 속 주인공만 간신히 쫓던 수준을 넘어 배경의 행인이나 흩날리는 나뭇잎까지 수천 개 픽셀을 동시에 추적할 수 있게 된 셈이다.

다만 이 압도적인 성능은 어디까지나 추론 단계의 이야기다. 모델을 학습시키는 데는 TPU 64대를 이틀 동안 쉬지 않고 돌려야 했으며, 일반 개발자가 쉽게 재현할 수 있는 가벼운 구조는 아니다.

왜 중요한가

우리는 D4RT가 로봇 공학과 차세대 XR 기기의 핵심 시각 엔진이 될 잠재력을 지녔다고 본다.

정적인 환경을 지도화하는 것은 이미 가능하지만, 뛰어노는 아이나 갑자기 튀어나오는 장애물을 회피하며 안전하게 주행하려면 실시간 4D 공간 인식이 필수적이다. D4RT는 이 복잡한 계산을 초고속 병렬 검색으로 전환해 실시간 적용의 길을 열었다.

일반 사용자 입장에서는 동영상 편집의 패러다임이 바뀔 수 있다. 촬영 후 카메라 시점을 자유롭게 회전하거나 배경의 불필요한 물체를 자연스럽게 지워내는 기능이 모바일 기기에 들어올 수 있다.

기존의 파편화된 파이프라인을 버리고 단일 쿼리 인터페이스로 통합한 딥마인드의 접근법은 매우 영리하다. 관건은 10억 파라미터에 달하는 거대한 인코더를 스마트 글래스나 소형 로봇에 탑재할 수 있을 만큼 가볍게 압축해 낼 수 있느냐다.