Reka, 언어·영상·로봇 제어 통합한 추론 모델 'Rho-1' 공개

등대 그림을 그리게 한 뒤 등대 영역을 지정해 동영상으로 이어지게 만들고, 날씨를 눈보라로 바꾼 다음 두 영상의 차이점을 설명하게 하는 작업은 기존 환경에서 서너 개의 개별 모델을 이어 붙여야만 가능했습니다.

이런 다단계 파이프라인은 단계마다 지연 시간을 크게 늘리고, 모델 간 데이터 전달 과정에서 문맥이 끊기는 문제를 자주 일으켰습니다.

딥마인드 출신 연구진이 설립한 AI 스타트업 레카(Reka)가 언어와 시각, 물리적 로봇 제어를 단일 신경망에 통합한 19B 규모의 옴니 추론 모델 'Rho-1' 연구 프리뷰를 공개했습니다.

분절된 파이프라인을 하나의 신경망으로 결합

Rho-1의 가장 큰 특징은 입력과 출력이 완전히 대칭을 이루는 아키텍처에 있습니다. 텍스트와 기호 추론을 처리하는 이산 토큰과 이미지, 비디오, 로봇 관절 제어를 표현하는 연속 토큰을 동일한 어텐션 공간에서 다룹니다.

각 트랜스포머 블록 내부에는 언어와 시각 분석을 담당하는 이해 스트림과 노이즈를 제거해 영상을 렌더링하는 생성 스트림이 공존합니다. 두 스트림은 동일한 KV 캐시를 공유합니다.

따라서 생성된 이미지를 다른 모델로 보내 다시 인코딩할 필요 없이, 메모리에 유지된 잠재 상태를 바탕으로 즉시 다음 프레임 영상을 만들고 날씨를 수정할 수 있습니다.

생성 속도 역시 뛰어납니다. 기본 모델은 실시간의 약 0.79배 속도로 비디오를 생성해 6초 만에 첫 화면을 스트리밍합니다. 디노이징 단계를 99단계에서 8단계로 줄인 증류 버전은 5.3초 분량의 비디오를 약 1초 만에 반환하며, 영상 수정 작업을 1.15초 안에 마칩니다.

또한 로봇 제어 신호를 연속 토큰으로 직접 디코딩해 미래 영상 예측과 로봇 관절 명령을 동시에 수행할 수 있습니다. 인터넷 영상에서 물리 동작을 역추론하는 역동역학 모델(IDM)을 결합해 학습 데이터를 확장했습니다.

다만 한계도 분명합니다. 영상 해상도가 672×384로 제한되어 있고, 30초 이상 연속 생성 시 시각적 질감은 유지되지만 공간 구조가 왜곡되는 드리프트 현상이 발생합니다.

왜 중요한가

Rho-1이 던지는 가장 강력한 메시지는 소규모 컴퓨팅 자원으로도 완전한 네이티브 멀티모달 통합이 가능하다는 사실을 증명했다는 점입니다.

레카는 이 19B 모델을 단 320장의 H100 GPU로 3개월간 처음부터 학습시켰습니다. 수만 장의 GPU를 쏟아붓는 빅테크의 프론티어 모델과 비교하면 매우 작은 규모로 실시간 월드 모델의 가능성을 입증한 셈입니다.

로봇 공학이나 대화형 시뮬레이션을 연구하는 개발자에게 단일 문맥 안에서 시각 상태를 유지하며 물리적 행동까지 지시할 수 있는 환경은 매우 매력적입니다. 여러 특화 모델을 오갈 때 발생하는 지연과 정보 손실을 원천 차단할 수 있기 때문입니다.

우리는 거대언어모델을 중심에 두고 외부 도구를 호출하는 기존의 에이전트 결합 방식이 점차 한계에 부딪힐 것으로 봅니다. 도구 사이를 오가며 발생하는 지연과 정보 왜곡은 실시간 물리 상호작용에서 치명적이기 때문입니다.

추론과 생성이 동일한 잠재 공간을 공유할 때 텍스트 추론 능력이 비디오의 물리적 일관성을 높여주는 시너지가 발생한다는 점을 Rho-1이 보여주었습니다. 아직 해상도와 장기 안정성 과제가 남아 있지만, 물리적 AGI를 향한 아키텍처 경쟁에서 중요한 이정표가 될 것으로 보입니다.