跳到正文
IFAI

機器人

地平線開源 HoloMotion-1:端側跑出 300 幀,機器人零樣本學跳舞

首次發布 傳播指數 39

地平線開源人形機器人小腦大模型 HoloMotion-1,擁有 4 億引數,藉助 MoE 與 KV 快取技術在端側實現約 300 FPS 即時推理。它讓 Unitree G1 等機器人無需額外訓練就能模仿跳舞、爬行和踢腿等高動態動作,並支援 VR 即時指令控制。

HoloMotion-1 是一個面向人形機器人全身運動控制的開源「小腦」大模型,能讓機器人在端側以大約 300 FPS 的高幀率,流暢模仿複雜的全身動作。

過去機器人運控模型大多停留在百萬或千萬引數,稍微複雜一點的全身協調就容易卡殼。HoloMotion-1 把引數量直接拉到了 4 億,同時把單步推理延遲壓到了 3.32 毫秒,換算下來就是每秒 300 幀。通常人形機器人的控制頻率只要 50Hz 就夠用,300 FPS 意味著它能在端側留出充裕的算力餘量,真正接進高頻閉環控制鏈路。

它能做什麼

簡單來說,HoloMotion-1 想解決的是「模仿任意姿態」。

團隊用多來源資料訓練了這個模型,包括網際網路影片裡的人體動作恢復、高精度光學動捕、低成本 VR 遙操作以及慣性動捕裝置。通過統一的動作重定向處理,模型學會了大量高動態全身技能。

在真實硬體測試中,把模型直接部署到宇樹 Unitree G1 人形機器人上,不需要額外的針對性訓練,機器人就能完成零樣本遷移。它不僅能跟著網路影片跳舞,還能完成爬行、坐下、武術高踢腿等接觸豐富的複雜動作,甚至可以即時接收 VR 手柄傳來的控制指令。

怎麼跑起來與技術細節

要把 4 億引數的模型塞進機器人端側即時跑,核心靠的是架構最佳化。

HoloMotion-1 採用了 MoE-Transformer 架構。輸入參考動作和機器人的本體觀測狀態後,系統會先通過條件路由器進行稀疏專家路由,只啟用部分專家網路,再加上序列級訓練最佳化和 KV 快取機制,大幅削減了單步計算開銷。

這次開源並不是只扔出一個權重檔案,而是提供了一整套工程工具鏈。倉庫覆蓋了環境配置、資料處理、重定向、模型訓練、評測到真機部署的完整鏈路。地平線開放了預訓練的動作跟蹤和速度跟蹤模型,開發者可以直接拿去驗證,也可以用自己的動作資料重新訓練。

在硬體部署方面,該方案後續將支援地瓜機器人 RDK S100 計算平臺,該平臺提供 80 到 128 TOPS 算力,專門用來承載這類大小腦一體化推理任務。

為什麼重要

如果你是做人形機器人運控的演算法工程師或硬體團隊,HoloMotion-1 非常值得立刻拉下來跑一跑。它最大的好處是省掉了從零搭建模擬和動作重定向流程的重複造輪子過程,直接給了一套能在消費級人形機器人上落地的現成底座。

過去業內做機器人全身控制,要麼依賴傳統的簡化動力學模型,動作死板;要麼用小模型做強化學習,換個動作就得重新訓練一次。HoloMotion-1 用大模型加海量影片資料的路線,證明了機器人小腦也能像語言模型一樣靠規模化湧現出泛化能力。雖然目前它還處在模仿姿態的第一階段,未來還需要補齊複雜地形適應和語言指令生成,但我們認為,這種把小腦模型做大、推理做快的開源嘗試,踩中了具身智慧走向實用化的關鍵節點。

來源 (1)

  1. [1]

每日 AI 內容精選