Black Forest Labs 開啟 FLUX 3 早期訪問:圖影音統一架構,支援 20 秒原生配音影片
Black Forest Labs 推出多模態基座模型 FLUX 3 並開啟早期訪問。該模型基於 Self-Flow 架構,在統一網路中同時學習影像、影片與音訊,支援單次生成長達 20 秒帶原生音訊的影片,並能拓展至機器人動作預測。官方計劃在未來數週逐步開放影像生成與開源權重 Dev 版本。

很多做影片生成的團隊,都在走一條修修補補的路:先讓模型生成畫面,再掛一個音效模型配音,最後想辦法靠額外的控制網讓人物別變臉。這種拼裝車開起來總讓人覺得哪裡不對勁,聲音經常對不上口型,動作也往往不合物理常識。
做出生圖神器 FLUX 的 Black Forest Labs,這次打算直接把底座換了。他們正式公佈了新一代多模態基礎模型 FLUX 3,目前已經開啟早期測試。和以往的模型不同,它不是先學畫面再學聲音,而是在一個統一架構裡,把影像、影片和音訊一起塞進去聯合訓練。
影片帶原生聲效,一口氣生成 20 秒
FLUX 3 底層用的是他們自研的 Self-Flow 架構。官方團隊的邏輯很簡單:現實世界裡,物體的碰撞伴隨著聲響,重量決定了慣性,不同感官本來就是同一種物理規律的投射,硬把視覺和聲音拆開學,模型自然理解不了真實世界。
這套架構帶來的最直觀變化,就是影片自帶原生音訊。FLUX 3 單次可以直接生成最長 20 秒、帶原生音訊的影片,支援文本生成影片、圖片墊圖動畫、以及用參考片段進行影片生影片。
創作長片最讓人頭疼的過渡控制,它也給出瞭解決方案。模型支援關鍵幀生影片,可以在指定節點之間做平滑轉場,還能通過智慧體鏈式呼叫把單個鏡頭串成長序列。甚至在測試中,它已經能搞定多語言角色對白和複雜的動態排版文字。
在初步的人工評測裡,官方用 10 秒 720p 帶音訊的文本生影片去對比同行。FLUX 3 面對 Runway Gen-4.5 拿下了 77% 的勝率,對陣 Luma Ray 3.2 更是高達 93%,面對 Grok Imagine Video 勝率為 69%,比起快手的 Kling v3 Pro 也有 60% 的偏好度,即便面對 Gemini Omni Flash 和 Seedance 2.0,勝率也達到了 52%。
從生成畫面,直接拐向奧迪工廠的機器人
除了做內容,FLUX 3 還藏著一步更大的棋:動作預測。
Black Forest Labs 認為,理解物理世界畫面的模型,天生就該懂機械臂怎麼動。他們把 FLUX 3 的影片主幹網路拿來做物理 AI,並和 mimic robotics 合作推出了 FLUX-mimic 動作模型。
目前這個模型已經在奧迪的真實生產線任務中進行靈巧操作測試。換句話說,同一個多模態底座,向上可以給好萊塢做特效鏡頭,向下可以給汽車工廠的機械臂當大腦。
在落地節奏上,目前 FLUX 3 Video 已經通過 API 和私有權重形式開放早期訪問;接下來幾週會開啟 FLUX 3 Image 的測試;更受開源社群期待的開放權重版本 FLUX 3 Dev,也會在後續幾個月推出。
為什麼重要
對於影視創作者和獨立開發者來說,FLUX 3 最實用的價值在於「省事」。以前做 AI 影片需要生影片、生音效、做口型同步三套工作流,現在單次就能出 20 秒帶聲畫同步的素材,還有參考幀保持角色一致性,製作短片的門檻被拉低了一大截。
對行業而言,它把影片模型的競爭緯度從單純卷畫面質感,拉到了原生聲畫協同和物理世界模型的新戰場。當一個模型能把畫面運動和碰撞聲音嚴絲合縫地綁在一起,那些靠多套零散模型拼湊方案的廠商會很難受。
我們認為 Black Forest Labs 這一步走得相當狡黠。他們沒有在純影片生成的紅海里跟對手卷時長,而是藉著統一底座把觸角伸到了具身智慧和工業機器人領域,這直接打開了商業想像力。
不過隱患也顯而易見。20 秒帶原生音影片聯合生成,再加上極高的多模態計算複雜度,背後的推理成本和算力開銷恐怕不是個小數目。未來開放的 FLUX 3 Dev 到底需要多大視訊記憶體才能跑起來,消費級顯示卡還能不能像以前玩 FLUX 1 那樣輕鬆部署,才是它能不能真正統治開源生態的關鍵。
來源 (1)
- bfl.ai(在新分頁開啟)原文bfl.ai