인간 눈 본뜬 로봇 안구 'EyeVLA': 회전·줌 기능으로具身 AI 시각 인지 높인다

사람은 사물을 볼 때 고개를 돌리고 눈동자를 움직이며, 작은 글씨를 볼 때는 초점을 맞춥니다. 하지만 현재 대부분의 구체화된 AI(Embodied AI) 로봇은 몸체에 고정된 카메라에만 의존해 세상을 바라봅니다.

기존의 고정형 RGB-D 카메라는 넓은 시야를 확보하면서 동시에 미세한 세부 정보를 얻기 어렵다는 한계가 있었습니다. 이를 해결하려면 값비싼 센서를 주렁주렁 달아야만 했습니다.

상하이교통대학교, 중국과학원, 다롄이공대학교 연구진은 인간의 안구에서 영감을 얻은 능동형 시각 시스템인 'EyeVLA'를 개발하고 논문을 arXiv에 공개했습니다.

이 시스템은 고가의 특수 센서 없이도 로봇 스스로 회전하고 줌인(Zoom-in)하여 필요한 대상의 선명한 이미지를 능동적으로 확보합니다.

카메라 움직임을 언어 모델의 토큰으로 변환

EyeVLA의 핵심은 하드웨어의 움직임을 대형 모델의 추론 과정 안에 자연스럽게 녹여냈다는 점입니다.

연구진은 강화학습을 통해 카메라의 회전과 줌 동작을 '액션 토큰'으로 이산화했습니다. 언어 모델이 다음 단어를 예측하듯, 카메라가 다음에 취해야 할 물리적 행동을 단일 자기회귀 시퀀스 안에서 함께 모델링한 것입니다.

또한 관심 영역에 2D 바운딩 박스를 지정해 추론 체인을 유도했습니다. 이 덕분에 최소한의 실제 환경 데이터만으로도 시각언어모델(VLM)의 개방형 환경 이해 능력을 물리 제어 정책으로 효과적으로 전이시켰습니다.

실내 환경에서 진행된 실험 결과, EyeVLA는 사용자의 지시를 정확히 이해하고 스스로 회전 및 줌 동작을 수행해 환경 내 세부 정보를 성공적으로 포착했습니다.

왜 중요한가

우리는 EyeVLA가 비싼 하드웨어를 무작정 추가하는 대신 '능동적 지각'이라는 생물학적 효율성을 선택한 점을 높게 평가합니다.

로봇이 주변의 모든 픽셀을 초고해상도로 상시 처리하는 것은 컴퓨팅 연산과 배터리, 제조 단가 측면에서 매우 비효율적입니다. 인간의 눈처럼 평소에는 넓게 보다가 필요한 순간에만 집중하는 방식이 로봇의 상용화에는 훨씬 유리합니다.

물류 창고의 분류 작업, 배관이나 시설 점검, 가사 노동 로봇을 개발하는 기업 입장에서는 고가의 산업용 카메라 대신 저렴한 모듈로 정밀 작업을 구현할 수 있는 유력한 대안이 될 수 있습니다.

다만 모터가 들어간 물리적 구동부는 장기 사용 시 내구성이 떨어질 수 있고, 초점을 맞추는 동안의 미세한 지연 시간은 빠르게 움직이는 환경에서 약점이 될 수 있습니다. 그럼에도 로봇에게 수동적인 감시 카메라가 아닌 '진짜 눈'을 달아주려는 시도는 피지컬 AI의 중요한 이정표입니다.