MIT 推出 DAAAM 系統:給機器人裝上即時「長期記憶」
MIT 研究團隊公佈名為 DAAAM 的機器人記憶系統。它通過生成帶時間戳的「4D 場景圖」,即時記錄機器人何時何地看到了什麼物體,並支援自然語言查詢。測試中其導航任務正確率提升約 28%,團隊表示後續將開原始碼。
如果你家裡有掃地機器人,你大概經歷過這種絕望:它每天把屋子掃三遍,但如果你問它眼鏡掉在哪個角落了,它就像剛出廠一樣一無所知。
機器人一直很擅長在三維空間裡避障、建圖,但只要扯上時間,它們基本上就患有短期失憶症。MIT 最近公佈了一套叫 DAAAM 的系統,全稱直譯過來很霸氣:在任何地點、任何時刻描述任何東西(Describe Anything, Anywhere, at Any Moment)。它想做的事,就是給機器人裝上真正的長期記憶。
把世界畫成一張帶時間軸的 4D 網
以住很多機器人識別物體,做法是逐幀拍照然後硬存快照。這種做法不僅費算力,而且畫面一幀一幀之間是斷開的,機器人根本不知道兩分鐘前看到的那把螺絲刀,跟現在桌角放的是不是同一個。
DAAAM 換了個思路,直接在機器人腦子裡生成所謂的「4D 場景圖」。它接入深度相機的影片流,畫面裡出現的每個物體,都會被標上三樣東西:文本描述、3D 空間座標,以及一個精確的時間戳。
機器人一邊走,深度相機一邊以每秒 10 幀的速度捕捉周圍環境。遇到視野裡的物體,系統會挑出最清晰的幾幀打包成批次,扔給後臺單獨的描述大模型去理解。靠著這種智慧批處理技巧,整體處理速度直接飆到了傳統方式的大概 10 倍。
在單張普通桌面顯示卡上,它每秒能給大約 5 個新物體片段打上標籤。對於慢悠悠逛街的地面移動機器人來說,這個速度剛好夠用。
問它「紅鉗子在哪」,它能算時間
建好這張 4D 動態地圖之後,後面跟著一個 AI 推理模組。使用者不用輸入程式碼,直接用人話提問就行。
比如在校園測試裡,有人問某棟樓旁邊的雕塑在哪,它能直接找出位置、外觀描述,以及最後一次看到該雕塑的準確時間。如果工廠裡的工人問「紅色扳手最後出現在哪裡」或者「那扇門開了多久」,它都能順著時間線找出來。
在包含了室內外環境的問答基準測試裡,DAAAM 在物體識別、位置定位和時間推斷上都壓過了對手。而在另一項自主導航測試裡,讓機器人理解日常語言並按順序到達指定地點,DAAAM 的任務完成準確率比最好的替代方案高出了大約 28%。
當然,這套系統目前毛病也不少。負責生成描述的模型只用了大約 150 萬個樣本訓練,遇到少見的東西就容易「腦補」。論文裡舉了個有意思的例子:它看到電梯門時,居然憑空斷定門上有把手。
另外,每秒 5 個物體的識別速度,放在高速飛行的無人機或 VR 頭顯上就徹底歇菜了。而且它現在是把歷史記錄一股腦存下來,機器人如果連續跑上幾個月,記憶庫估計會直接撐爆。
為什麼重要
我們認為,DAAAM 邁出的這一步非常聰明。它沒有試圖去訓練一個能在 10 FPS 速度下即時端到端跑完的多模態大模型,那是算力的無底洞;它選擇把高頻的空間跟蹤與低頻的語義描述拆開,用非同步批處理做了一個現實可行的工程折中。
對行業來說,它把機器人領域的具身智慧從「看眼前」推向了「記過去」。過去大家都在卷 SLAM 建圖和單一動作控制,但具身機器人想進工廠、醫院或養老院,核心門檻其實是時空因果鏈。如果護工機器人不知道病人的藥盒什麼時候被移走,再靈巧的機械臂也派不上用場。
不過,現在的 DAAAM 還停留在原型驗證階段,普通開發者哪怕等它開源,也不建議直接往實際產線裡塞。它最大的隱患是缺乏記憶壓縮和遺忘機制,長時間執行必崩;其次是幻覺問題,在工業巡檢裡,把沒把手的門認出把手可能是致命的。但至少,它給未來的具身大腦指了一條極具落地可能的解題思路。
來源 (1)
- studyfinds.com(在新分頁開啟)原文studyfinds.com