Meta, 로봇과 가상 인간의 협업 돕는 시뮬레이터 Habitat 3.0 공개

로봇이 집안을 돌아다니며 청소를 돕고 빨래를 정리하는 미래는 상상만 해도 편리하지만, 수십 킬로그램에 달하는 실제 로봇을 사람 사는 거실에 직접 들여 테스트하는 것은 막대한 비용과 안전사고 위험을 수반합니다.

Meta의 AI 연구 조직인 FAIR는 하드웨어를 직접 부딪치며 시험하는 대신 시뮬레이션 안에서 사람과 로봇을 먼저 동거시키는 해법을 내놓았습니다. 구체화된 AI 연구를 위한 차세대 시뮬레이터 Habitat 3.0과 고정밀 실내 3D 데이터셋 HSSD-200을 발표한 것입니다.

가상 인간과 한 공간에서 협업하는 로봇

Meta는 그동안 Habitat 플랫폼을 꾸준히 발전시켜 왔습니다. Habitat 1.0이 초당 1만 스텝 이상의 속도로 가상 로봇의 3D 실내 내비게이션을 학습시켰고, Habitat 2.0이 서랍을 열고 물건을 정리하는 상호작용 환경을 열었다면, 이번 3.0 버전은 마침내 그 공간에 사람을 들여놓았습니다.

Habitat 3.0은 자연스러운 걸음걸이와 외형을 지닌 가상 인간 아바타를 지원하여, 로봇과 인간이 한 공간에서 함께 일상을 보내는 상황을 재현합니다.

특히 주목할 부분은 인간 참여형 인터페이스입니다. 연구자는 AI 정책으로 아바타를 제어할 수 있을 뿐만 아니라, 실제 사람이 키보드나 마우스, VR 헤드셋을 착용하고 직접 가상 인간으로 접속해 로봇과 실시간으로 상호작용하며 동작을 평가할 수 있습니다.

좁은 복도에서 양보하고 가사를 분담하다

Meta는 로봇의 사회적 지능을 측정하기 위해 소셜 리어레인지먼트와 소셜 내비게이션이라는 두 가지 핵심 과제를 제시했습니다.

로봇과 아바타가 함께 거실을 치우거나 주방에서 요리 재료를 정리하는 협업 과제, 그리고 안전 거리를 유지하며 사람을 찾아 따라다니는 과제입니다. 대규모 시뮬레이션 훈련 결과, 로봇은 좁은 복도에서 사람과 마주치면 옆으로 비켜서 길을 양보하고, 혼자 작업할 때보다 인간과 역할을 나누어 더 빠르게 청소를 끝내는 등의 협력 행동을 스스로 체득했습니다.

이를 뒷받침하는 HSSD-200 데이터셋은 사람이 정교하게 설계한 211개의 실내 인테리어 씬과 466개 카테고리에 걸친 1만 8656개의 실제 사물 모델을 포함해 가상 환경의 현실성을 대폭 끌어올렸습니다.

왜 중요한가

연구자와 개발자 입장에서 Habitat 3.0은 실물 로봇을 다룰 때 발생하는 막대한 하드웨어 비용과 안전 부담을 단번에 덜어주는 도구입니다. 복잡한 센서 장비 없이도 VR 기기 하나로 가상 환경에 들어가 로봇과 함께 가사를 수행하며 알고리즘을 빠르고 안전하게 검증할 수 있습니다.

업계 관점에서는 구체화된 AI의 연구 초점이 단순한 물건 집기에서 벗어나 인간과의 사회적 상호작용으로 확장되는 전환점이라는 의미가 있습니다. 가정용 로봇이 상용화되려면 사람을 다치게 하지 않고 유연하게 공간을 공유하는 능력이 필수적이며, 이는 Meta가 추진 중인 미래 올데이 AR 안경의 맥락 인식 기술과도 직결됩니다.

Meta가 고가의 하드웨어 제조에 직접 뛰어들기보다 자신들의 강점인 가상현실과 시뮬레이터 소프트웨어 생태계를 선점한 전략은 매우 영리해 보입니다. 다만 시뮬레이션과 현실 사이의 간극은 여전히 풀어야 할 숙제입니다. 가상 아바타와 달리 현실의 인간은 훨씬 불규칙하고 예측 불가능하게 움직이기 때문에, 가상 공간에서 배운 예의 바른 협동 방식이 실제 거실에서도 그대로 통할지는 검증이 더 필요합니다.