Ai2, 초경량 3D 객체 감지 모델 ‘WildDet3D’ 오픈소스 공개

사진을 보고 고양이나 의자, 컵이 어디에 있는지 2D 사각 박스로 찾아내는 AI는 이제 흔합니다. 하지만 그 의자가 카메라에서 몇 미터 떨어져 있는지, 실제 가로세로 크기는 얼마인지, 어느 각도로 놓여 있는지를 단 한 장의 사진으로 알아맞히는 것은 차원이 다른 문제입니다.

현실 세계에서 작동하는 로봇, 물류 자동화, 스마트 글래스 기반 AR 애플리케이션의 핵심은 바로 이 공간 지능에 있습니다. 하지만 지금까지 단안 카메라 영상에서 3D 형상을 복원하려면 값비싼 다중 센서를 쓰거나, 자율주행 도로 같은 매우 좁은 환경에 특화된 모델을 써야만 했습니다.

비영리 인공지능 연구기관 Ai2는 단일 2D 이미지에서 물체의 3차원 바운딩 박스를 직접 추정하는 오픈소스 모델 ‘WildDet3D’를 공개했습니다. 스마트폰 사진이나 액션캠, 로봇에 장착된 평범한 단안 카메라 입력만으로 실제 미터 단위의 위치, 크기, 회전 각도를 계산해 냅니다.

텍스트와 터치로 손쉽게 지정하는 3D 공간

WildDet3D의 가장 큰 장점은 직관적인 조작성입니다. 복잡한 3D 좌표를 몰라도 누구나 원하는 물체를 지정할 수 있습니다.

텍스트 창에 모니터나 종이라고 입력하면, 모델이 영상 속 해당 물체를 찾아내 입체적인 3D 경계 상자를 씌워 줍니다. 동물이라고 입력하면 화면에 잡힌 여러 마리의 동물을 한 번에 인식해 각각의 공간적 부피를 정확히 잡아냅니다.

텍스트를 입력하지 않고 화면 속 물체를 손가락으로 탭하거나 대략적인 2D 박스를 그리기만 해도 됩니다. 모델은 입력된 2D 영역을 기반으로 깊이 정보를 계산해 완전한 3D 형태로 끌어올립니다.

이러한 구조 덕분에 별도의 3D 추적 학습을 거치지 않고도 영상 내에서 제로샷 3D 객체 추적이 가능합니다. 기존 2D 트래커의 출력을 WildDet3D에 프레임 단위로 전달하기만 하면, 카메라가 움직이는 중에도 물체의 3D 위치를 안정적으로 유지합니다.

SAM3와 DINOv2 기반의 효율적 파이프라인

단안 이미지에서 기하학적 정보를 뽑아내기 위해 WildDet3D는 두 갈래의 효율적인 병렬 구조를 택했습니다.

한쪽에서는 SAM3 백본 기반의 2D 디텍터가 텍스트나 터치 입력을 처리하고, 다른 한쪽에서는 동결된 DINOv2 인코더와 학습 가능한 깊이 디코더가 픽셀 단위 심도를 계산합니다. 이 두 정보는 크로스 어텐션 기반의 3D 헤드에서 결합되어 물체의 최종 3차원 위치와 규격을 출력합니다.

아이폰의 라이다 센서처럼 기기에 간헐적인 깊이 신호가 있다면 이를 반영해 정밀도를 더 높일 수도 있습니다. Ai2는 실제로 카메라와 라이다를 연동해 실시간으로 3D 박스를 증강현실로 띄워주는 iOS 데모 앱을 함께 선보였습니다.

나아가 100만 장 이상의 이미지와 1만 3천 개 범주, 370만 건의 검증된 3D 어노테이션이 담긴 데이터셋과 모델 학습 코드를 전부 무료로 공개했습니다.

왜 중요한가

그동안 공간 지능 분야는 자율주행 대기업이나 대형 하드웨어 제조사들의 폐쇄적인 데이터 경쟁에 머물러 있었습니다.

우리는 Ai2가 거대 멀티모달 모델 하나로 모든 것을 무리하게 해결하려 하지 않고, 기존 시스템에 쉽게 얹을 수 있는 모듈형 3D 공간 인식 계층을 구축한 점을 매우 영리한 선택으로 봅니다. 예를 들어 Molmo 2 같은 비전-언어 모델과 결합하면, 사람의 복잡한 명령을 듣고 실제 공간 속 물체를 집어 드는 로봇 시스템을 빠르게 구현할 수 있습니다.

로봇 공학 연구자나 AR 개발자에게 370만 개의 고품질 3D 데이터와 학습 파이프라인이 전면 개방되었다는 사실은 진입 장벽을 극적으로 낮춰 줍니다. 값비싼 센서 리그 없이도 단안 카메라 기반의 공간 인식 프로토타입을 즉시 제작할 수 있기 때문입니다.

다만 모바일 데모와 달리 손실 없는 풀버전 모델을 실시간 고프레임으로 돌리려면 여전히 서버급 연산 자원이나 추가적인 모델 경량화가 필요하다는 한계는 있습니다. 그럼에도 공간 지능 기술의 핵심 자산을 커뮤니티 전체에 투명하게 공유했다는 점에서 오픈소스 생태계에 상당한 기여를 한 결과물입니다.