MS, 화면 UI와 로봇 팔 동시에 다루는 AI 모델 '마그마' 공개

스마트폰 화면을 눌러 메시지를 전송하는 AI와 주방에서 로봇 팔로 소시지를 집어 올리는 AI는 지금까지 완전히 다른 기술 영역으로 취급되었습니다. 디지털 에이전트는 웹 요소와 좌표를 다루고, 로봇 팔은 모터 출력과 3차원 물리 궤적을 다루어야 했기 때문입니다.

마이크로소프트 연구진이 공개한 멀티모달 파운데이션 모델 Magma는 이 두 세계를 단일 모델 안에서 통합하려는 시도입니다. 화면 인터페이스 조작부터 현실 로봇 팔 제어까지, 하나의 신경망 구조 안에서 동작 계획을 수행하도록 설계되었습니다.

화면 버튼과 로봇 팔을 같은 방식으로 표시하다

AI에게 연속 동작을 계획하게 만들 때 기존 방식처럼 다음 비디오 프레임 전체를 예측하도록 학습시키면 막대한 연산 비용이 들고, 배경의 사소한 변화에도 모델이 쉽게 교란되는 문제가 있었습니다.

Magma는 Set-of-Mark(SoM)와 Trace-of-Mark(ToM)라는 두 가지 방식을 결합해 이를 해결합니다. SoM은 화면의 버튼이나 로봇 팔 조작점에 숫자 마크를 달아 정확한 위치를 집어내고, ToM은 영상 프레임을 생성하는 대신 그 마크가 미래에 이동할 궤적만을 간결하게 예측합니다.

이 덕분에 토큰 소모량을 획기적으로 줄이면서도 더 긴 시간대의 행동을 계획할 수 있게 되었습니다. 텍스트와 영상은 공유 비전 인코더를 거쳐 LLM으로 전달되며, 언어적 답변뿐 아니라 공간 좌표와 구체적인 동작 명령을 함께 생성합니다.

2D 게임 플레이부터 실제 로봇 팔 제어까지

Magma는 디지털과 물리 환경 양쪽에서 고른 수행 능력을 보여줍니다. 모바일과 웹 환경에서는 녹색 블록을 모으는 2D 게임을 플레이하거나, 시애틀 날씨를 확인한 뒤 비행기 모드를 켜는 식의 복합 모바일 작업을 매끄럽게 처리합니다.

실제 WidowX 로봇 팔을 이용한 실험에서도 성과가 두드러졌습니다. 소시지를 집어 옮기거나 버섯을 냄비에 넣고, 형태가 일정하지 않은 천을 밀어내는 작업에서 기존 오픈소스 모델인 OpenVLA보다 높은 성공률을 기록했으며, 학습 데이터에 없던 새로운 환경에서도 안정적으로 작동했습니다.

사전 튜닝을 거치지 않은 제로샷 평가에서 LLaVA-OneVision, Qwen2-VL, GPT-4o mini와 비교했을 때, 비디오 질의응답, 공간 추론, UI 탐색, 로봇 시뮬레이션 전 영역을 하나의 모델로 소화해낸 것은 Magma가 유일했습니다.

왜 중요한가

우리는 Magma가 화면 클릭과 물리적 물체 조작을 본질적으로 동일한 공간 궤적 추적 문제로 치환해 낸 점이 매우 영리한 접근이라고 봅니다. 지금까지 완전히 갈라져 있던 화면 자동화 에이전트와 물리 로봇 제어 파이프라인이 단일 멀티모달 기반으로 합쳐질 수 있음을 증명했기 때문입니다.

개발자 입장에서는 기기 제어 대상이 스마트폰 화면이든 현장 로봇 팔이든, 하나의 파운데이션 모델에 적은 양의 데이터만 덧붙여 빠르게 제어 에이전트를 구축할 수 있는 가능성이 열렸습니다. 다만 프레임 단위 물리 시뮬레이션을 생략하고 궤적 예측에 의존하는 만큼, 정밀한 힘 조절이나 복잡한 접촉 역학이 필수적인 초정밀 제조 작업에서는 한계에 부딪힐 가능성도 있습니다.

결과적으로 이번 연구는 멀티모달 모델의 경쟁 축을 단순한 시각적 설명 능력에서 디지털과 물리 세계를 아우르는 실제 행동 수행력으로 끌어올렸다는 점에서 중요한 분기점이 될 것으로 보입니다.