Generalist AI 发布 GEN-1.5：看人类演示几秒钟，机器人就能学会新动作

以前想让机械臂学会开一个新罐头，通常只有两条路：要么工程师通宵写控制轨迹，要么采集几十上百遍示教数据重新微调模型。

现在情况开始变了。8 月 19 日，机器人创企 Generalist AI 发布了新的具身基础模型 GEN-1.5。

这个模型最惹眼的地方在于，你不用做任何梯度更新，也不用重新微调参数。只要塞给它一段 3 至 12 秒的动作演示，它看一眼就能尝试照着做。

官方把这种操作叫作「物理提示」（physical prompting）。在开罐头、拉小包拉链、从钱包里掏钱等 10 个测试任务里，靠这种单次上下文演示，机器人拿到了 59% 的平均成功率。

像给大语言模型写 Prompt 一样教机器人

如果熟悉大模型的发展，你大概会觉得这一幕很眼熟。这基本就是 2020 年 GPT-3 刚出来时的具身版重现。

GEN-1.5 是一个大体量的多模态模型，吃进视频、传感器读数、自身关节状态和自然语言，以每秒 100 次（100 Hz）的频率实时吐出动作轨迹。

它有一个 30 秒的上下文窗口。演示视频和动作序列直接占掉开头几秒，剩下的空间留给当前实时的连续观测画面。

有意思的是，团队并没有针对上下文学习去改网络结构，也没有引入任何元学习循环。这个能力完全来自他们在家庭、仓库和工厂里长达 8 个月的海量物理交互预训练。

除了直接模仿，它还展示出几种很有用的扩展能力。

比如组合动作。你分别给它看「抓杯子」和「倒水」两个独立演示，它能自己在中间补齐重新抓取和对准的过渡动作，连成一整套行为。

甚至在仿真环境里跑出来的轨迹，也能直接拿来当提示词喂给真机。团队指出，GEN-1.5 的预训练数据里根本没有放仿真数据，但它依然能看懂模拟演示并在现实中还原。

如果单次演示的 59% 成功率不够用，拿 5 分钟大约 50 次演示的数据跑 10 步梯度微调，成功率就能拉到 83%。

为什么重要

机器人领域一直卡在「泛化太贵」这个死穴上。过去要把一个动作部署到工业产线或家庭场景，采集和训练成本往往让小团队直接放弃。

GEN-1.5 证明了一件事：物理世界的常识和动作规律，只要预训练的数据量堆得足够大，确实能像语言模型那样涌现出原生的上下文学习能力。这意味着以后调试机器人，可能真的会演变成写「物理 Prompt」的过程。

但目前它离真正的可用性还有明显距离。59% 的成功率在真实物理世界里等于开盲盒，拉链拉一半卡住或打翻罐头都是常事。而且当前能完成的任务周期都非常短，环境稍微复杂一点就很容易失误。

我们认为，Generalist AI 最聪明的地方在于打破了传统模仿学习的固有流程，把教学成本压缩到了秒级。对开发者来说，这套思路很有启发；但对想直接买来干活的工厂或个人而言，现在显然还不是可以完全放手的时候。