상상 속에서 훈련하는 AI 'Dreamer 4': 환경 상호작용 없이 마인크래프트 다이아몬드 채굴 성공

AI가 현실 세계나 복잡한 게임 환경 속에서 직접 부딪히며 배우게 하는 방식은 비용이 매우 큽니다. 실제 로봇은 몇 번만 실수해도 값비싼 하드웨어가 파손되고, 방대한 오픈월드 게임에서는 수백만 번을 무작정 탐색해도 의미 있는 진전을 보기 어렵습니다.

이에 대한 해결책으로 주목받는 방식이 바로 AI의 머릿속에 시뮬레이터를 짓고 '상상' 속에서 학습시키는 세계 모델입니다. Danijar Hafner와 Wilson Yan이 공동으로 이끈 연구팀이 이 접근법을 한 단계 끌어올린 지능체 'Dreamer 4'를 공개했습니다.

실제 게임 환경과의 상호작용을 일절 거치지 않고, 오직 오프라인 데이터만 학습해 마인크래프트에서 다이아몬드를 채굴해 낸 최초의 AI입니다.

단일 GPU에서 실시간으로 구동되는 세계 모델

기존의 세계 모델들은 복잡한 환경에서 사물 간의 세밀한 상호작용을 정밀하게 예측하지 못해 실질적인 행동 훈련에 쓰이기 어려웠습니다.

Dreamer 4는 이 한계를 깨뜨렸습니다. 마인크래프트처럼 복잡한 샌드박스 환경에서도 물체 간의 물리적 작용과 게임 메커니즘을 정확하게 예측해 내며 기존 세계 모델들을 큰 격차로 따돌렸습니다.

기술적으로는 shortcut forcing이라는 학습 목표와 효율적인 트랜스포머 아키텍처를 결합했습니다. 덕분에 정밀한 세계 모델의 인터랙티브 추론을 단 한 장의 GPU 위에서 실시간으로 구동할 수 있게 되었습니다.

거대한 서버 클러스터를 동원하지 않고도 AI가 자신의 상상 속에서 수천 가지 경우의 수를 빠른 속도로 시뮬레이션할 수 있게 된 셈입니다.

2만 번의 조작을 상상 속에서 완수하다

마인크래프트에서 다이아몬드를 얻는 과정은 강화학습 분야에서 악명 높은 장기 계획 과제입니다.

맨손으로 나무를 캐고 작업대를 만든 뒤, 돌과 철을 채굴해 곡괭이를 강화하고, 용암을 피해 지하 깊은 곳까지 내려가야 합니다. 원시 픽셀 화면만 보고 2만 회가 넘는 정밀한 마우스와 키보드 조작을 오차 없이 이어가야 성공할 수 있습니다.

이전의 AI들은 실제 게임 환경 속에서 수백만 번 넘게 실패를 거듭하며 이를 배웠습니다. 하지만 Dreamer 4는 게임 엔진과의 실시간 상호작용 없이, 오프라인 데이터만을 기반으로 이 과제에 도전했습니다.

다양한 미라벨 비디오에서 세상에 대한 보편적 지식을 추출하고, 극소량의 데이터로 조작 조건을 학습한 뒤, 모든 강화학습 훈련을 자체적인 세계 모델 안에서 끝마쳤습니다.

왜 중요한가

이 연구의 진정한 가치는 마인크래프트 공략이 아니라 로봇 공학과 피지컬 AI가 직면한 거대한 장벽을 허무는 데 있습니다.

현실에서 로봇에게 무작위 시행착오를 시키는 것은 위험하고 속도도 매우 느립니다. 부품이 고장 나면 실험 자체가 중단됩니다. 하지만 온라인상의 수많은 비디오 데이터로 정밀한 세계 모델을 만들고, 로봇이 상상 속에서 수만 시간의 훈련을 마치게 할 수 있다면 훈련 비용과 위험은 획기적으로 줄어듭니다.

Dreamer 4가 영리했던 점은 단일 GPU에서 실시간 추론이 가능한 세계 모델을 구축하고, 2만 단계가 넘는 초장기 작업을 순수 오프라인 데이터만으로 풀어냈다는 사실입니다.

물론 코드로 짜인 게임의 물리 법칙과 예측 불가능한 현실 세계의 물리 환경 사이에는 여전히 간극이 존재합니다. 실제 로봇 환경에 적용했을 때 센서 노이즈나 돌발 변수를 얼마나 견뎌낼지는 지켜봐야 하지만, 시뮬레이션 없는 순수 오프라인 학습의 가능성을 입증했다는 점에서 매우 중요한 진전입니다.