NVIDIA 推出 RoboTTT：机器人上下文拉到 8000 步，5 分钟装配不掉链子

现在的具身智能机器人有个挺尴尬的短板：记性太差。多数视觉语言动作（VLA）模型基本上是个「近视眼」，做决策时只看当前这一帧画面，或者最多带上前几步的历史。一旦遇到稍微复杂点的长流程任务，干着干着就把前面做过什么忘得一干二净，经常陷入死循环或直接报错。

英伟达联合斯坦福大学和德克萨斯大学奥斯汀分校，公布了一套名为 RoboTTT 的机器人模型与训练方案。他们把机器人的视觉运动上下文一口气拉到了 8000 个时间步。在 30Hz 的控制频率下，这相当于让机器人拥有了足足 5 分钟的连续记忆，比现有的同类策略整整高出了三个数量级。

把记忆压进「快速权重」里

大模型上下文拉长后，显存爆炸和推理变慢往往让人头疼。但 RoboTTT 哪怕拉到了 8K 步，推理延迟也没有随着上下文变长而增加。

团队用的是测试时训练（Test-Time Training，简称 TTT）机制。他们基于开源人形机器人基础模型 GR00T N1.7 进行改造，在网络里插入了带有门控的 TTT 层。这层网络里面带有一个小模型，它的隐藏状态就是一套「快速权重」。

说白了，RoboTTT 并不像传统 Transformer 那样把所有历史动作和画面存成庞大的键值缓存，而是在推理的同时，通过自监督梯度更新，把刚接收到的交互信息随时压缩写进这套权重里。当需要做动作时，模型直接读取最新权重里的状态。上下文再长，占用的记忆空间也是固定的。

为了能在有限的 GPU 显存里训完这种超长序列，团队配合使用了截断式时间反向传播，梯度只在切片内回传，而快速权重在切片间完整传递。同时，他们还在流匹配训练里加入了「序列动作强制」，为不同动作块独立采样噪声，解决了整段轨迹难度不均导致的训练崩溃问题。

5 分钟装配零失误，还能看视频现学现做

记忆变长之后，机器人的干活表现有了明显的飞跃。

在双臂真实机器人操作测试中，RoboTTT 相比单步基线的综合表现提升了 87%。面对一个包含 10 个阶段、耗时约 5 分钟的复杂电路装配任务，现有的对比基准全部中途翻车，只有 RoboTTT 完整干完了全程。而且预训练上下文从 128 步拉到 8K 步时，性能一直在稳步上升，8K 步比 1K 步高出了 62%，完全没有出现饱和迹象。

更让人惊喜的是超长上下文催生出的新能力。RoboTTT 可以做到单样本上下文模仿：机器人不需要重新微调，只要在最开始给它塞一段人类演示装配的新视频作为纯上下文，它就能照着把陌生的零件装配搞定。

它还具备在线自我纠错和抗干扰能力。如果人类中途把已经装好的零件偷偷拿走，RoboTTT 能根据自己之前的操作记录，主动折回去重新抓取并补装。团队通过 DAgger 蒸馏把人类的干预过程内化为快速权重的动态调整，机器人在自己失误时，也能在不呼叫人类的情况下在线恢复过来。

为什么重要

我们认为，这项研究最硬核的价值在于指出了机器人基础模型的新方向。过去具身智能拼的大多是模型参数量和真机采集的数据量，但 RoboTTT 证明了「上下文长度」很可能是机器人领域的第三条 Scaling 曲线。

对机器人开发者来说，长时程操作一直是最难啃的硬骨头，过去往往需要把长任务生硬地拆分成很多子任务，再用状态机去拼接，容错率极低。如果能直接给机器人 5 分钟甚至更长的稳定记忆，复杂流水线装配、家庭整理这种多步骤任务的落地门槛就会断崖式下降。

更聪明的是他们对 TTT 架构的选择。把历史压缩进快速权重，既避免了超长缓存拖慢 30Hz 高频控制的实时性，又原生支持了「把视频演示当上下文输入」的小样本泛化。不过看起来这也带来了新的工程挑战：在边缘端部署时，让机器人一边推理一边做局部的梯度更新，对嵌入式算力和稳定性提出了更高的要求。但无论如何，给机器人装上能持续运转的长时记忆，这条路显然走对了。