波士頓動力給機器狗接入 ChatGPT:Spot 化身導覽員,能看能聊還能嘴貧
Boston Dynamics 展示了一項概念驗證:將 ChatGPT、BLIP-2 視覺模型與 ElevenLabs 語音合成接入機器狗 Spot。機器人不僅能看懂周圍環境沿途解說,還能根據設定扮演諷刺、搞笑等性格回答提問。最值得關注的是大模型在實體機器人上展現出的自主聯想能力,不過目前每次回答仍有約 6 秒延遲。

給機器狗貼上兩隻塑膠大眼睛,戴上假鬍子,它居然能帶著一群人在辦公室裡找「大腳怪」。
這可不是搞笑博主的整蠱影片,而是波士頓動力自己搞的技術原型。波士頓動力的工程師 Matt Klingensmith 和他的團隊最近公佈了一個概念驗證專案:他們把四足機器人 Spot、OpenAI 的 ChatGPT 以及視覺問答模型串在了一起,讓這隻機器狗搖身一變,成了一個能走、能看、還能當導遊的話癆。
像寫 Python 程式碼一樣指揮機器狗
波士頓動力團隊並沒有從頭訓練一個機器人大模型,而是用了非常巧妙的拼裝思路。
硬體上,他們在 Spot 背部的擴充套件介面上,用 3D 列印的減震支架固定了一套 ReSpeaker V2 麥克風和揚聲器陣列。為了讓它看起來像在說話,工程師甚至給機械臂加上了低通濾波演算法,讓夾爪像木偶嘴巴一樣隨著聲音開合。
大腦的核心則是 OpenAI 的模型,最初用 GPT-3.5,後來升級到了 GPT-4。工程師受微軟方法的啟發,把提示詞寫得像是一段未完成的 Python 指令碼,裡面只提供三個動作函式:去某地、說話、提問。
每隔大約一秒,Spot 機械臂和身體前方的攝像頭就會把畫面餵給視覺模型 BLIP-2,生成環境描述。接著,OpenAI 的 Whisper 負責聽懂客人的提問,ElevenLabs 的語音合成技術負責把文本轉化為聲音說出來。
意料之外的「靈性」與尷尬的幻覺
整套系統跑起來之後,出現了一些讓工程師都感到意外的臨場發揮。
有人問它波士頓動力創始人「Marc Raibert 是誰」,GPT 並沒有硬編,而是回了一句「我不知道,去 IT 諮詢臺問問吧」,然後真的控制狗腿走到了 IT 部門的工位。當被問到父母是誰時,Spot 自己溜達到了陳列初代 Spot 和早期 BigDog 的展覽區,把那些退役老機器稱為自己的長輩。
更有意思的是人格設定。工程師給它加上「尖酸刻薄」的性格提示後,它不僅能全程保持諷刺的語氣,還拉著一隊參觀者在辦公室裡搜尋未解之謎生物,問路過的同事有沒有見過大腳怪。
不過,現在的它顯然還不能真正上崗。最大的硬傷就是延遲,從人說完話到它反應過來,有時候要等上整整 6 秒鐘。此外,幻覺也是家常便飯,它曾信誓旦旦地向客人介紹,波士頓動力的倉儲物流機器人 Stretch 其實是用來練瑜伽的。
為什麼重要
在我們看來,波士頓動力這次展示最聰明的地方,在於放下了硬核機器人公司對「百分之百精確控制」的執念,找到了一條讓具身智慧落地的捷徑。
以前工業級機器人想理解周圍的世界,需要極其昂貴且死板的規則編寫。波士頓動力把走跑跳這些底層的運動控制留在本地,把環境理解、路線決策和人機對話全扔給了雲端大模型,用很低的成本就讓機器狗擁有了常識聯想能力。
對行業而言,這指明瞭一條更實際的路線:現階段沒必要死磕端到端的通用具身大模型,拿成熟的語言和視覺模型當排程器,去調動現成的運動 SDK,就已經能產生讓人驚豔的擬人效果。
但隱患也很明顯。問答之間長達數秒的等待,加上對雲端網路的絕對依賴,在導遊這種搞笑場景裡可以被當成笑料包容,一旦放到安防巡檢或工業應急場景,網路抖動或一次嚴重的模型幻覺就是致命事故。看起來,想要讓大模型真正成為工業機器人的大腦,離線部署和確定性控制依然是繞不過去的檻。
來源 (1)
- bostondynamics.com(在新分頁開啟)原文bostondynamics.com