跳到正文
IFAI

機器人

FLUX 3 進奧迪工廠:生成影片的模型,也能直接操控機器人

首次發布 傳播指數 47

Black Forest Labs 聯手 mimic 推出基於 FLUX 3 的影片-動作模型 FLUX-mimic,已在奧迪工廠落地。該模型直接把影片物理表徵解碼為機械動作,單張 RTX 5090 延遲不足 80 毫秒,可完成柔性線纜等傳統自動化難以處理的裝配任務。

FLUX 3 進奧迪工廠:生成影片的模型,也能直接操控機器人
圖:bfl.ai

過去大家以為做生圖、做影片的 AI,最終歸宿也就是給好萊塢打工、幫營銷號切片。但 Black Forest Labs 這次做了一件完全反直覺的事:他們把自家的多模態影片基座模型,直接送進了奧迪的汽車組裝車間。

Black Forest Labs 開放了新一代多模態基座模型 FLUX 3 的早期體驗,並聯合蘇黎世機器人團隊 mimic robotics,基於該模型推出了影片-動作模型 FLUX-mimic。目前,這套系統已經在奧迪的工廠流水線上實測並落地部署。

影片預測算力佔了 95%,卻順手學會了開工

FLUX 1 和 FLUX 2 專精文生圖,而 FLUX 3 則是從一開始就將影像、影片和音訊放在一起聯合訓練。整個訓練過程中,超過 95% 的算力都消耗在影片預測上,音訊 token 在 720p 影片中甚至佔不到 0.5%。

按照團隊的邏輯,AI 要生成不穿幫的動態影片,就必須在潛空間裡徹底摸清物體的運動、接觸、重量以及因果關係。換句話說,所謂逼真的影片模型,底層其實是一套物理世界模型。

既然摸清了物理規律,機器人動作就只是一種與視覺強繫結的低維狀態訊號。團隊在訓練中加入動作預測後,影片生成的評分起初掉了約 10%,但僅經過 3500 步訓練就完全恢復,主幹模型輕鬆吃下了動作這一新模態。

在架構上,FLUX-mimic 利用他們提出的 Self-Flow 框架,在影片預測路徑的中間特徵層掛載了一個輕量級動作解碼器。據測算,該系統在單張 RTX 5090 顯示卡上的推理延遲低於 80 毫秒。

工廠實操:抓空了會自己重新抓

這套模型被送進奧迪車間後,接手了一批極其棘手的裝配工作。

它負責的任務包括零件分揀入盤、將電子控制單元塞進嚴絲合縫的卡槽,以及組裝機械部件。更關鍵的是,它還能處理傳統工業自動化機械臂根本碰不得的軟質柔性材料,比如橡膠密封條和雜亂的線纜。

由於模型本身已經對真實世界瞭如指掌,教它一個新動作不再需要從頭教物理學。以往教會工業臂一個新任務需要 30 多個小時的示教資料,而 FLUX-mimic 只需要大約半小時。

而且它自帶容錯能力:在抓取部件如果偶爾抓空,機械臂能根據視覺反饋自行校正,重新抓取並繼續完成任務,甚至在完全凍結 FLUX 主幹引數的情況下,動作表現依然壓過了傳統的視覺-語言-動作模型。

為什麼重要

我們認為,BFL 和 mimic 這次給行業指出了一條非常聰明的新路徑:具身智慧不需要從零去堆機器人專屬大模型,優秀的影片生成模型本身就是天生的物理模擬器。

對工業製造和自動化客戶來說,這種影片-動作模型的價值在於極低的微調成本。半小時示教就能上線一個柔性工序,意味著柔性製造和小批次定製的落地門檻被大幅砍低,單張消費級旗艦顯示卡就能跑進 80 毫秒內,也免去了工廠部署昂貴伺服器叢集的顧慮。

對行業競爭而言,這直接改變了機器人大模型的競爭範式。過去做具身智慧多依賴語言大模型加上視覺編碼器,即所謂的 VLA 路線,但語言模型天生缺乏連續物理空間的幾何直覺;而影片生成模型在數千萬小時的影片洗禮下,早就掌握了碰撞與形變。

不過隱患也同樣明顯。影片生成模型天然存在幻覺和隨機漂移,工廠環境對釐米甚至毫米級公差要求嚴苛,極小機率的物理誤判在高速生產線上就可能造成昂貴損失。目前來看,它最適合的是容錯率稍高、依賴柔性手感的裝配分揀工序,要完全接管核心精密製造,仍需要更長週期的穩定性驗證。

來源 (1)

  1. [1]
    bfl.ai(在新分頁開啟)原文bfl.ai

每日 AI 內容精選