Google 用强化学习训机器人捡垃圾：23 台打工两年，分拣准确率达 84%

很多人在办公室扔垃圾时，经常分不清哪个该扔进可回收，哪个算堆肥，最后全塞进普通垃圾桶。如果这事交给机器人来干呢？

Google Research 旗下的 Brain 团队公布了一项持续两年的大规模实验。他们把 23 台搭载深度强化学习算法的轮式机械臂机器人，放进了真实的 Google 办公楼里，专职给垃圾分类。

办公室里的「流动分拣员」

这批机器人的日常工作是在办公区里巡逻，寻找由可回收桶、堆肥桶和普通垃圾桶组成的垃圾站。

找到垃圾站后，机器人会上前检查桶里的东西。它得识别出易拉罐、塑料瓶、纸杯和硬纸盒，再用机械臂把扔错的垃圾夹起来，准确丢进对应的桶里。也就是把可回收物归入回收桶，纸杯和外卖盒送入堆肥桶，剩下的留给普通填埋垃圾桶。

听起来像家务活，但对机器视觉和机械抓取来说是个噩梦。每个人扔进去的垃圾形状千奇百怪，有的压扁了，有的被咖啡打湿，光是把东西稳稳抓起来就极难。

为了让机器人学会分拣，Google 搬出了经典的强化学习框架 QT-Opt，并给它们安排了四道关卡。

第一步是用写死的简单规则做冷启动，成功率虽然很低，但能攒下最初的数据。第二步是在虚拟环境里做仿真训练，还用上了基于 CycleGAN 的 RetinaGAN 技术，把虚拟画面做得很像现实场景，让算法先在虚拟世界里摸索出基础分拣策略。

20 台机器人在「教室」里天天补课

如果全靠机器人在办公楼里现学，效率其实很低。因为每天产生的垃圾量不稳定，有时多有时少，数据采集速度根本跟不上。

于是 Google 搭建了一个「机器人教室」。在这里，20 台机器人对着一组具有代表性的垃圾站不断练习抓取和分类，前后累积了整整 54 万次尝试。

与此同时，另外几台机器人正在 3 栋真实的办公楼里、对着 30 个实际垃圾站做现场实操，收集了 3.25 万次真实交互数据。两者结合，总共完成了跨越 240 种垃圾站配置的 4800 次评估测试。

数据量堆上去之后，机器人的进步非常明显。在教室的可控对比测试中，整套系统的最终平均分拣准确率达到了 84% 左右。

在 2021 年到 2022 年的 3 次真实办公区部署记录中，按重量计算，这批机器人把垃圾桶里的误投污染率降低了 40% 到 50%。

为什么重要

过去强化学习最漂亮的战绩大都在虚拟世界或实验室里，比如下围棋、打电子游戏、或者在特定实验台抓积木。一旦放到人来人往的办公室，光照一变、垃圾形状一换，系统往往就容易崩溃。

Google 这项研究最有价值的地方，在于它证明了通过「仿真模拟 + 集中教室训练 + 真实场景磨砺」的数据飞轮，强化学习机器人确实能在非标准化的现实环境里干长期的脏活累活。

对用户和企业来说，这类技术短期内不会变成便宜的消费级硬件，中小企业显然养不起一个机器人车队来分类垃圾。但对于大型园区、机场和物流中转站，这种具备自主移动和抓取纠错能力的设备，价值非常直观。

我们认为，Google 最聪明的一点在于用「机器人教室」补足了真实世界数据不足的短板，而不是死磕纯虚拟或纯现场。不过隐患也很明显：两年时间、23 台机器人，才换来 84% 的平均准确率和 40% 到 50% 的杂质减少，整体成本和产出比仍然极高，离真正的商业化量产还有很长的路要走。