엔비디아, 시각 탐색 프레임워크 LocateAnything 발표: 텍스트 한 줄로 물체 감지 10배 가속

비전 언어 모델(VLM)에 이미지 속 물체를 찾아 사각 틀로 지정해 달라고 요청해 본 사람이라면, 모델이 말귀는 잘 알아들으면서도 좌표를 찍는 속도는 답답할 정도로 느리다는 점을 겪어봤을 것입니다.

기존 VLM들은 2차원 사각 박스 좌표를 단어 토큰처럼 잘게 쪼개어 하나씩 순차적으로 생성했습니다. 이 방식은 좌표 간의 기하학적 연관성을 깨뜨릴 뿐 아니라, 화면에 물체가 많아질수록 추론 속도가 급격히 떨어지는 병목 현상을 낳았습니다.

엔비디아 연구진은 자연어 한 문장으로 이미지 속 물체를 즉시 찾아내는 시각 탐색 프레임워크 LocateAnything을 발표했습니다. 밀집 물체 감지 속도를 최대 10배 끌어올리며 이 문제를 정면으로 해결했습니다.

바운딩 박스를 단번에 디코딩하다

LocateAnything의 핵심은 병렬 박스 디코딩(PBD) 기술입니다. 2차원 사각 틀이나 점 좌표를 여러 토큰으로 쪼개지 않고, 하나의 원자 단위로 취급해 단일 단계에서 병렬로 디코딩합니다.

이 구조 덕분에 좌표 간의 기하학적 정합성이 유지되면서도 하드웨어의 병렬 처리 성능을 온전히 활용할 수 있습니다. 모델 아키텍처는 Qwen2.5-3B와 Moon-ViT 조합을 채택했으며, 작업 요구에 따라 고속, 저속, 하이브리드 모드로 유연하게 전환할 수 있습니다.

엔비디아는 성능을 뒷받침하기 위해 1억 3800만 개 이상의 훈련 샘플로 이뤄진 대규모 데이터셋 LocateAnything-Data도 구축했습니다. 대규모 데이터 학습을 거치며 처리 속도뿐 아니라 정밀도를 측정하는 높은 IoU 기준에서도 탁월한 위치 정확도를 입증했습니다.

왜 중요한가

우리는 LocateAnything이 멀티모달 모델이 실제 물리 환경에 적용될 때 부딪히던 가장 성가신 장벽을 걷어냈다고 봅니다.

로봇 비전, 스마트 이미지 검색, 데이터 라벨링 자동화 같은 분야에서는 수많은 물체를 지연 시간 없이 정확하게 짚어내는 능력이 필수적입니다. 2차원 공간 정보를 텍스트 단어처럼 한 글자씩 뱉게 하던 기존 방식은 실시간 상용화에 큰 걸림돌이었습니다.

텍스트 설명 한 줄로 대상 물체를 초고속으로 검출하고 오려낼 수 있다면, 현장 데이터 처리와 로봇 조작 파이프라인의 효율은 단숨에 몇 배로 뜁니다. 3B 수준의 가벼운 모델 기반을 채택했다는 점 역시 엣지 디바이스 배치 가능성을 열어둔 영리한 접근으로 평가할 만합니다.