NVIDIAなどが「RoboTTT」発表：ロボットの文脈長を8000ステップに拡張

現在のロボット基盤モデルには、深刻な「記憶力不足」という課題があります。多くの視覚言語行動（VLA）モデルは基本的に直近の1フレームか、せいぜい過去数ステップの情報しか参照していません。そのため、手数の多い長時間の作業になると、自分が直前まで何をしていたのかを見失い、エラーを起こしがちでした。

NVIDIA、スタンフォード大学、テキサス大学オースティン校の研究チームは、ロボットの視覚運動コンテキストを8000タイムステップにまで拡張する手法「RoboTTT」を発表しました。30Hzの制御周期で換算すると約5分間に相当し、従来の最先端ポリシーと比べて約3桁も長い履歴を扱えます。しかも、コンテキストを伸ばしても推論の遅延は増加しません。

履歴を「高速重み」へ圧縮する仕組み

通常のTransformerでコンテキストを伸ばすと、計算量やメモリ消費が膨らみ、実時間でのロボット制御が難しくなります。RoboTTTはこの問題を、テスト時トレーニング（Test-Time Training、TTT）を導入することで解決しました。

研究チームは人型ロボット向け基盤モデル「GR00T N1.7」をベースに採用し、ゲート機構を介してTTTレイヤーを組み込みました。このレイヤーの内部には小さなモデルが存在し、その隠れ状態は勾配降下法で随時更新される「高速重み」として機能します。

過去のフレームをすべてキャッシュとして溜め込むのではなく、新しいトークンが入力されるたびに自己教師あり学習の損失を1ステップ計算し、情報を固定サイズの重みパラメータの中に直接書き込んでいきます。そのため、どれほど長時間のコンテキストを扱っても、一定のレイテンシとメモリで推論し続けることができます。学習時にはGPUメモリの肥大化を防ぐため、時間差分に基づくTBPTTと、アクションチャンクごとにノイズを独立サンプリングする工夫を組み合わせて安定性を確保しました。

5分間の連続組み立てを完遂し、人間の動画からも即座に学習

コンテキストの劇的な拡張により、実機の双腕ロボットによる検証では従来手法を圧倒する結果が確認されています。

シングルステップのベースラインと比較して、全体的なタスク成功率は87%向上しました。10段階の工程からなる5分間の複雑な回路組み立てタスクにおいて、既存のベースラインがすべて失敗したのに対し、RoboTTTは唯一タスク全体を完遂しました。事前学習のコンテキスト長を128から8Kまで伸ばすにつれて性能は一貫して向上し、8Kモデルは1Kモデルより性能が62%高く、飽和の兆候は見られていません。

さらに、単一の人間の作業動画を見せるだけで新しい配置の組み立てを再現する「ワンショット文脈内模倣」や、作業中に人間が部品を勝手に取り外しても自ら戻って取り付け直す外乱耐性、失敗から自律的に復元するオンライン自己修復など、短期コンテキストでは不可能だった能力も獲得しています。

なぜ重要か

これまでロボット基盤モデルのスケーリング則といえば、パラメータ数と収集データの規模の2つが中心でした。しかしRoboTTTの成果は、「コンテキスト長」が第3のスケーリング軸になり得ることを示しています。

開発者や製造現場にとって、長時間のマルチステップ作業は最も自動化が難しかった領域です。従来は細かくタスクを分割してステートマシンで繋ぎ止めるような泥臭い実装が必要でしたが、5分間の連続記憶があれば、複雑な組み立て作業を一気通貫のポリシーでこなせる可能性が大きく広がります。

推論時にも重みを更新するTTTのアプローチは、30Hzという厳しいリアルタイム制御を維持しつつ長大な履歴を圧縮する手段として極めて合理的だと考えられます。一方で、エッジ側の推論デバイスで常に局所的な勾配更新を回し続けることによるハードウェア負荷や実装の複雑さは今後の課題になりそうです。それでも、ロボットに本格的な「作業記憶」を与えるアプローチとして、非常に筋の良い進展といえます。