Google 用強化學習訓機器人撿垃圾：23 臺打工兩年，分揀準確率達 84%

很多人在辦公室扔垃圾時，經常分不清哪個該扔進可回收，哪個算堆肥，最後全塞進普通垃圾桶。如果這事交給機器人來幹呢？

Google Research 旗下的 Brain 團隊公佈了一項持續兩年的大規模實驗。他們把 23 臺搭載深度強化學習演算法的輪式機械臂機器人，放進了真實的 Google 辦公樓裡，專職給垃圾分類。

辦公室裡的「流動分揀員」

這批機器人的日常工作是在辦公區裡巡邏，尋找由可回收桶、堆肥桶和普通垃圾桶組成的垃圾站。

找到垃圾站後，機器人會上前檢查桶裡的東西。它得識別出易拉罐、塑膠瓶、紙杯和硬紙盒，再用機械臂把扔錯的垃圾夾起來，準確丟進對應的桶裡。也就是把可回收物歸入回收桶，紙杯和外賣盒送入堆肥桶，剩下的留給普通填埋垃圾桶。

聽起來像家務活，但對機器視覺和機械抓取來說是個噩夢。每個人扔進去的垃圾形狀千奇百怪，有的壓扁了，有的被咖啡打溼，光是把東西穩穩抓起來就極難。

為了讓機器人學會分揀，Google 搬出了經典的強化學習框架 QT-Opt，並給它們安排了四道關卡。

第一步是用寫死的簡單規則做冷啟動，成功率雖然很低，但能攢下最初的資料。第二步是在虛擬環境裡做模擬訓練，還用上了基於 CycleGAN 的 RetinaGAN 技術，把虛擬畫面做得很像現實場景，讓演算法先在虛擬世界裡摸索出基礎分揀策略。

20 臺機器人在「教室」裡天天補課

如果全靠機器人在辦公樓裡現學，效率其實很低。因為每天產生的垃圾量不穩定，有時多有時少，資料採集速度根本跟不上。

於是 Google 搭建了一個「機器人教室」。在這裡，20 臺機器人對著一組具有代表性的垃圾站不斷練習抓取和分類，前後累積了整整 54 萬次嘗試。

與此同時，另外幾臺機器人正在 3 棟真實的辦公樓裡、對著 30 個實際垃圾站做現場實操，收集了 3.25 萬次真實互動資料。兩者結合，總共完成了跨越 240 種垃圾站配置的 4800 次評估測試。

資料量堆上去之後，機器人的進步非常明顯。在教室的可控對比測試中，整套系統的最終平均分揀準確率達到了 84% 左右。

在 2021 年到 2022 年的 3 次真實辦公區部署記錄中，按重量計算，這批機器人把垃圾桶裡的誤投汙染率降低了 40% 到 50%。

為什麼重要

過去強化學習最漂亮的戰績大都在虛擬世界或實驗室裡，比如下圍棋、打電子遊戲、或者在特定實驗臺抓積木。一旦放到人來人往的辦公室，光照一變、垃圾形狀一換，系統往往就容易崩潰。

Google 這項研究最有價值的地方，在於它證明了通過「模擬模擬 + 集中教室訓練 + 真實場景磨礪」的資料飛輪，強化學習機器人確實能在非標準化的現實環境裡幹長期的髒活累活。

對使用者和企業來說，這類技術短期內不會變成便宜的消費級硬體，中小企業顯然養不起一個機器人車隊來分類垃圾。但對於大型園區、機場和物流中轉站，這種具備自主移動和抓取糾錯能力的裝置，價值非常直觀。

我們認為，Google 最聰明的一點在於用「機器人教室」補足了真實世界資料不足的短板，而不是死磕純虛擬或純現場。不過隱患也很明顯：兩年時間、23 臺機器人，才換來 84% 的平均準確率和 40% 到 50% 的雜質減少，整體成本和產出比仍然極高，離真正的商業化量產還有很長的路要走。