엔비디아, 로봇 컨텍스트 8000스텝으로 늘린 'RoboTTT' 공개

현재 로봇 파운데이션 모델들은 심각한 '단기 기억상실증'을 앓고 있습니다. 대다수 비전-언어-행동(VLA) 모델은 현재 단일 프레임이나 직전 몇 단계의 기록만 보고 다음 동작을 결정합니다. 단계가 길어지는 복잡한 조립이나 정리 작업을 시키면, 얼마 못 가 자신이 앞서 무엇을 했는지 잊어버리고 오작동을 일으키기 일쑤였습니다.

엔비디아(NVIDIA)가 스탠퍼드 대학교, 텍사스 대학교 오스틴과 협력해 로봇의 시각운동 컨텍스트를 8,000 타임스텝까지 확장한 RoboTTT(Test-Time-Training Robot Policies)를 공개했습니다. 일반적인 30Hz 제어 환경 기준으로 약 5분에 달하는 시간으로, 기존 최첨단 모델들보다 무려 1,000배가량 긴 기록을 처리하면서도 추론 지연 시간은 전혀 늘어나지 않습니다.

기록을 '고속 가중치'에 압축해 넣다

일반적인 트랜스포머 아키텍처는 컨텍스트가 길어질수록 메모리 점유율이 치솟고 속도가 느려져, 빠른 반응이 필요한 실시간 로봇 제어에 쓰기 어렵습니다. RoboTTT는 테스트 시점 훈련(TTT) 구조를 도입해 이 장벽을 넘었습니다.

연구진은 휴머노이드 오픈 파운데이션 모델인 GR00T N1.7에 게이트 기반 TTT 레이어를 결합했습니다. 이 레이어의 은닉 상태는 고정된 크기의 '고속 가중치(fast weights)'로 작동합니다. 과거의 모든 데이터를 캐시로 쌓아두는 대신, 새 데이터가 들어올 때마다 자가 지도 학습 손실을 바탕으로 한 단계의 그래디언트를 적용해 정보를 가중치 공간에 즉시 압축해 넣는 방식입니다.

덕분에 컨텍스트가 8천 단계로 늘어나도 추론 속도는 일정하게 유지됩니다. 연구진은 학습 시 GPU 메모리 폭주를 막기 위해 그래디언트를 일정 구간만 역전파하는 절단형 BPTT(TBPTT)와 시퀀스 액션 포싱 기법을 적용해 초장문 시퀀스 학습의 안정성을 확보했습니다.

5분짜리 10단계 조립 완수, 인간 영상 보고 즉석 모방까지

긴 기억력을 장착한 로봇의 작업 능력은 눈에 띄게 달라졌습니다.

실제 양팔 로봇을 활용한 테스트에서 RoboTTT는 기존 단일 스텝 기준 모델 대비 87% 향상된 성능을 보였습니다. 10개 단계로 이루어진 5분 분량의 고난도 회로 조립 작업에서 기존 모델들은 전부 중도 실패했으나, RoboTTT는 유일하게 전 과정을 완수했습니다. 또한 사전 학습 컨텍스트를 128스텝에서 8K까지 늘릴수록 성능이 지속적으로 상승했으며, 8K 모델은 1K 모델 대비 성능이 62% 뛰어올라 성능 포화가 오지 않는 스케일링 특성을 보였습니다.

긴 컨텍스트 덕분에 새로운 능력들도 생겨났습니다. 처음 보는 부품 배치를 다룬 단 한 편의 인간 작업 영상을 컨텍스트로 제공받으면 별도 파인튜닝 없이 즉석에서 조립을 모방해 해냅니다. 또한 작업 중 사람이 끼워둔 부품을 강제로 빼앗아도 자신의 이전 행동을 기억하고 되돌아가 다시 장착하는 외란 복원력과, 실수했을 때 사람의 개입 없이 스스로 동작을 수정하는 온라인 오류 복구 능력까지 보여줬습니다.

왜 중요한가

우리는 이 연구가 로봇 파운데이션 모델의 새로운 확장 축을 증명했다는 점에서 의미가 크다고 봅니다. 지금까지 로봇 AI의 성능 확장은 주로 '모델 파라미터 크기'와 '실제 로봇 수집 데이터양'이라는 두 가지 축에 의존해 왔지만, RoboTTT는 '컨텍스트 길이'가 세 번째 핵심 스케일링 법칙이 될 수 있음을 보여줬습니다.

로봇 개발자 입장에서 긴 호흡의 작업은 늘 골칫거리였습니다. 긴 작업을 억지로 쪼개고 상태 머신으로 엮느라 개발 공수가 많이 들었지만, 로봇이 5분 이상의 기억을 온전히 유지할 수 있다면 제조 라인 조립이나 가사 보조 같은 다단계 작업을 훨씬 유연하게 통합 정책 하나로 풀 수 있게 됩니다.

TTT 방식을 차용해 30Hz 제어에 필요한 초저지연을 유지하면서도 과거 기록을 가중치로 흡수한 설계는 매우 영리합니다. 다만 로봇 온디바이스 하드웨어에서 추론과 동시에 미세 그래디언트 업데이트를 지속적으로 수행해야 하므로 엣지 연산 부하와 시스템 안정성 측면의 검증은 더 필요해 보입니다. 그럼에도 로봇에게 실시간으로 작동하는 '작업 기억'을 부여하는 명확한 돌파구를 열었다는 점은 분명해 보입니다.