NVIDIA 推出 RoboTTT：機器人上下文拉到 8000 步，5 分鐘裝配不掉鏈子

現在的具身智慧機器人有個挺尷尬的短板：記性太差。多數視覺語言動作（VLA）模型基本上是個「近視眼」，做決策時只看當前這一幀畫面，或者最多帶上前幾步的歷史。一旦遇到稍微複雜點的長流程任務，幹著幹著就把前面做過什麼忘得一乾二淨，經常陷入死迴圈或直接報錯。

輝達聯合斯坦福大學和德克薩斯大學奧斯汀分校，公佈了一套名為 RoboTTT 的機器人模型與訓練方案。他們把機器人的視覺運動上下文一口氣拉到了 8000 個時間步。在 30Hz 的控制頻率下，這相當於讓機器人擁有了足足 5 分鐘的連續記憶，比現有的同類策略整整高出了三個數量級。

把記憶壓進「快速權重」裡

大模型上下文拉長後，視訊記憶體爆炸和推理變慢往往讓人頭疼。但 RoboTTT 哪怕拉到了 8K 步，推理延遲也沒有隨著上下文變長而增加。

團隊用的是測試時訓練（Test-Time Training，簡稱 TTT）機制。他們基於開源人形機器人基礎模型 GR00T N1.7 進行改造，在網路裡插入了帶有門控的 TTT 層。這層網路裡面帶有一個小模型，它的隱藏狀態就是一套「快速權重」。

說白了，RoboTTT 並不像傳統 Transformer 那樣把所有歷史動作和畫面存成龐大的鍵值快取，而是在推理的同時，通過自監督梯度更新，把剛接收到的互動資訊隨時壓縮寫進這套權重裡。當需要做動作時，模型直接讀取最新權重裡的狀態。上下文再長，佔用的記憶空間也是固定的。

為了能在有限的 GPU 視訊記憶體裡訓完這種超長序列，團隊配合使用了截斷式時間反向傳播，梯度只在切片內回傳，而快速權重在切片間完整傳遞。同時，他們還在流匹配訓練里加入了「序列動作強制」，為不同動作塊獨立取樣噪聲，解決了整段軌跡難度不均導致的訓練崩潰問題。

5 分鐘裝配零失誤，還能看影片現學現做

記憶變長之後，機器人的幹活表現有了明顯的飛躍。

在雙臂真實機器人操作測試中，RoboTTT 相比單步基線的綜合表現提升了 87%。面對一個包含 10 個階段、耗時約 5 分鐘的複雜電路裝配任務，現有的對比基準全部中途翻車，只有 RoboTTT 完整幹完了全程。而且預訓練上下文從 128 步拉到 8K 步時，效能一直在穩步上升，8K 步比 1K 步高出了 62%，完全沒有出現飽和跡象。

更讓人驚喜的是超長上下文催生出的新能力。RoboTTT 可以做到單樣本上下文模仿：機器人不需要重新微調，只要在最開始給它塞一段人類演示裝配的新影片作為純上下文，它就能照著把陌生的零件裝配搞定。

它還具備線上自我糾錯和抗干擾能力。如果人類中途把已經裝好的零件偷偷拿走，RoboTTT 能根據自己之前的操作記錄，主動折回去重新抓取並補裝。團隊通過 DAgger 蒸餾把人類的干預過程內化為快速權重的動態調整，機器人在自己失誤時，也能在不呼叫人類的情況下線上恢復過來。

為什麼重要

我們認為，這項研究最硬核的價值在於指出了機器人基礎模型的新方向。過去具身智慧拼的大多是模型引數量和真機採集的資料量，但 RoboTTT 證明了「上下文長度」很可能是機器人領域的第三條 Scaling 曲線。

對機器人開發者來說，長時程操作一直是最難啃的硬骨頭，過去往往需要把長任務生硬地拆分成很多子任務，再用狀態機去拼接，容錯率極低。如果能直接給機器人 5 分鐘甚至更長的穩定記憶，複雜流水線裝配、家庭整理這種多步驟任務的落地門檻就會斷崖式下降。

更聰明的是他們對 TTT 架構的選擇。把歷史壓縮排快速權重，既避免了超長快取拖慢 30Hz 高頻控制的即時性，又原生支援了「把影片演示當上下文輸入」的小樣本泛化。不過看起來這也帶來了新的工程挑戰：在邊緣端部署時，讓機器人一邊推理一邊做區域性的梯度更新，對嵌入式算力和穩定性提出了更高的要求。但無論如何，給機器人裝上能持續運轉的長時記憶，這條路顯然走對了。