Generalist AI 釋出 GEN-1.5：看人類演示幾秒鐘，機器人就能學會新動作

以前想讓機械臂學會開一個新罐頭，通常只有兩條路：要麼工程師通宵寫控制軌跡，要麼採集幾十上百遍示教資料重新微調模型。

現在情況開始變了。8 月 19 日，機器人創企 Generalist AI 釋出了新的具身基礎模型 GEN-1.5。

這個模型最惹眼的地方在於，你不用做任何梯度更新，也不用重新微調引數。只要塞給它一段 3 至 12 秒的動作演示，它看一眼就能嘗試照著做。

官方把這種操作叫作「物理提示」（physical prompting）。在開罐頭、拉小包拉鏈、從錢包裡掏錢等 10 個測試任務裡，靠這種單次上下文演示，機器人拿到了 59% 的平均成功率。

像給大語言模型寫 Prompt 一樣教機器人

如果熟悉大模型的發展，你大概會覺得這一幕很眼熟。這基本就是 2020 年 GPT-3 剛出來時的具身版重現。

GEN-1.5 是一個大體量的多模態模型，吃進影片、感測器讀數、自身關節狀態和自然語言，以每秒 100 次（100 Hz）的頻率即時吐出動作軌跡。

它有一個 30 秒的上下文視窗。演示影片和動作序列直接佔掉開頭幾秒，剩下的空間留給當前即時的連續觀測畫面。

有意思的是，團隊並沒有針對上下文學習去改網路結構，也沒有引入任何元學習迴圈。這個能力完全來自他們在家庭、倉庫和工廠里長達 8 個月的海量物理互動預訓練。

除了直接模仿，它還展示出幾種很有用的擴充套件能力。

比如組合動作。你分別給它看「抓杯子」和「倒水」兩個獨立演示，它能自己在中間補齊重新抓取和對準的過渡動作，連成一整套行為。

甚至在模擬環境裡跑出來的軌跡，也能直接拿來當提示詞餵給真機。團隊指出，GEN-1.5 的預訓練資料里根本沒有放模擬資料，但它依然能看懂模擬演示並在現實中還原。

如果單次演示的 59% 成功率不夠用，拿 5 分鐘大約 50 次演示的資料跑 10 步梯度微調，成功率就能拉到 83%。

為什麼重要

機器人領域一直卡在「泛化太貴」這個死穴上。過去要把一個動作部署到工業產線或家庭場景，採集和訓練成本往往讓小團隊直接放棄。

GEN-1.5 證明了一件事：物理世界的常識和動作規律，只要預訓練的資料量堆得足夠大，確實能像語言模型那樣湧現出原生的上下文學習能力。這意味著以後除錯機器人，可能真的會演變成寫「物理 Prompt」的過程。

但目前它離真正的可用性還有明顯距離。59% 的成功率在真實物理世界裡等於開盲盒，拉鏈拉一半卡住或打翻罐頭都是常事。而且當前能完成的任務週期都非常短，環境稍微複雜一點就很容易失誤。

我們認為，Generalist AI 最聰明的地方在於打破了傳統模仿學習的固有流程，把教學成本壓縮到了秒級。對開發者來說，這套思路很有啟發；但對想直接買來幹活的工廠或個人而言，現在顯然還不是可以完全放手的時候。