앤트로픽, 드론 자율 추적 평가 벤치마크 ‘Drone-Bench’ 공개

일반 매장에서 살 수 있는 소형 드론에 사진 한 장을 입력하면, AI가 사무실 안을 날아다니며 특정인을 찾아내 추적할 수 있을까요?

Anthropic이 Andon Labs와 손잡고 연구 프로젝트인 'Project Pilot'과 신규 벤치마크 'Drone-Bench'를 공개했습니다. GPT-4o, Gemini 3.1 Pro, GPT-5.6 Sol, Claude Fable 5를 포함한 15개 최신 모델을 대상으로 실내 감시 및 추적 임무를 자율 수행할 수 있는지 측정한 것입니다.

이 평가는 전체 임무를 5개 하위 과제로 세분화했습니다. 실내 영상을 3D 공간과 2D 장애물 지도로 변환하는 '재구성(Reconstruct)', 기체 위치를 확인하는 '측위(Localize)', 경로를 짜는 '내비게이션(Navigate)', 사진을 대조해 사람을 찾는 '탐지(Detect)', 거리를 유지하며 쫓아가는 '추적(Follow)'입니다.

3D 공간 복원 한계에 부딪힌 Fable 5

평가 결과 최신 모델일수록 더 높은 완성도를 보였으며, 그중 Claude Fable 5가 가장 뛰어난 성적을 기록했습니다. 5개 하위 과제 중 무려 4개에서 인간과 코딩 에이전트가 합작한 기준선(베이스라인)을 뛰어넘었습니다.

하지만 실제 드론을 띄워 사무실 사이를 이동하게 한 실기 테스트는 끝내 성공하지 못했습니다. 유일하게 기준치를 넘지 못한 '3D 공간 재구성' 단계의 오차가 측위와 내비게이션으로 이어지며 길을 잃었기 때문입니다.

그럼에도 모델이 보여준 자율 추론 방식은 상당히 인상적이었습니다. Fable 5는 최종 코드를 실행하기 전 로컬 환경에서 자체 검증을 거치는 모습을 보였습니다.

시뮬레이션 영상 속 바닥 타일의 줄눈을 분석해 소실점을 찾고, 카메라 기울기를 오차 4도 이내로 계산해 내는가 하면, 비행 경로의 오류를 잡기 위해 2D 평면 환경을 자체 구축해 사전 디버깅을 진행하기도 했습니다.

다만 실행 일관성은 아직 부족합니다. 시뮬레이션을 10회 반복했을 때, Fable 5가 기준 성능을 꾸준히 달성한 과제는 평균 3개에 그쳤습니다.

왜 중요한가

이번 연구는 멀티모달 모델이 소프트웨어를 넘어 물리적 하드웨어를 다루는 경계가 어디까지 왔는지를 정확히 짚어냈습니다.

시각 기반 탐지와 표적 추적 능력은 이미 기존 알고리즘을 위협할 정도로 올라섰습니다. 반면 3D 공간을 기하학적으로 이해하고 지도를 작성하는 영역은 여전히 언어·비전 모델의 구조적 난제로 남아 있습니다. 따라서 현시점에서 완전 자율 비행 감시 장비에 최신 파운데이션 모델을 단독 투입하기에는 이릅니다.

그럼에도 Anthropic이 이 벤치마크를 서둘러 정립한 것은 명확한 목적이 있어 보입니다. 상용 드론은 누구나 쉽게 구할 수 있고, 사람을 찾아 추적하는 기능은 실종자 수색이라는 공익 목적과 불법 사찰이라는 이중성을 동시에 가집니다. 마지막 퍼즐인 공간 재구성만 풀리면 곧바로 실현될 위험인 만큼, 위협이 현실화되기 전에 기술적 측정 기준을 마련해 둔 셈입니다.