FLUX 3 进奥迪工厂:生成视频的模型,也能直接操控机器人
Black Forest Labs 联手 mimic 推出基于 FLUX 3 的视频-动作模型 FLUX-mimic,已在奥迪工厂落地。该模型直接把视频物理表征解码为机械动作,单张 RTX 5090 延迟不足 80 毫秒,可完成柔性线缆等传统自动化难以处理的装配任务。

过去大家以为做生图、做视频的 AI,最终归宿也就是给好莱坞打工、帮营销号切片。但 Black Forest Labs 这次做了一件完全反直觉的事:他们把自家的多模态视频基座模型,直接送进了奥迪的汽车组装车间。
Black Forest Labs 开放了新一代多模态基座模型 FLUX 3 的早期体验,并联合苏黎世机器人团队 mimic robotics,基于该模型推出了视频-动作模型 FLUX-mimic。目前,这套系统已经在奥迪的工厂流水线上实测并落地部署。
视频预测算力占了 95%,却顺手学会了开工
FLUX 1 和 FLUX 2 专精文生图,而 FLUX 3 则是从一开始就将图像、视频和音频放在一起联合训练。整个训练过程中,超过 95% 的算力都消耗在视频预测上,音频 token 在 720p 视频中甚至占不到 0.5%。
按照团队的逻辑,AI 要生成不穿帮的动态视频,就必须在潜空间里彻底摸清物体的运动、接触、重量以及因果关系。换句话说,所谓逼真的视频模型,底层其实是一套物理世界模型。
既然摸清了物理规律,机器人动作就只是一种与视觉强绑定的低维状态信号。团队在训练中加入动作预测后,视频生成的评分起初掉了约 10%,但仅经过 3500 步训练就完全恢复,主干模型轻松吃下了动作这一新模态。
在架构上,FLUX-mimic 利用他们提出的 Self-Flow 框架,在视频预测路径的中间特征层挂载了一个轻量级动作解码器。据测算,该系统在单张 RTX 5090 显卡上的推理延迟低于 80 毫秒。
工厂实操:抓空了会自己重新抓
这套模型被送进奥迪车间后,接手了一批极其棘手的装配工作。
它负责的任务包括零件分拣入盘、将电子控制单元塞进严丝合缝的卡槽,以及组装机械部件。更关键的是,它还能处理传统工业自动化机械臂根本碰不得的软质柔性材料,比如橡胶密封条和杂乱的线缆。
由于模型本身已经对真实世界了如指掌,教它一个新动作不再需要从头教物理学。以往教会工业臂一个新任务需要 30 多个小时的示教数据,而 FLUX-mimic 只需要大约半小时。
而且它自带容错能力:在抓取部件如果偶尔抓空,机械臂能根据视觉反馈自行校正,重新抓取并继续完成任务,甚至在完全冻结 FLUX 主干参数的情况下,动作表现依然压过了传统的视觉-语言-动作模型。
为什么重要
我们认为,BFL 和 mimic 这次给行业指出了一条非常聪明的新路径:具身智能不需要从零去堆机器人专属大模型,优秀的视频生成模型本身就是天生的物理模拟器。
对工业制造和自动化客户来说,这种视频-动作模型的价值在于极低的微调成本。半小时示教就能上线一个柔性工序,意味着柔性制造和小批量定制的落地门槛被大幅砍低,单张消费级旗舰显卡就能跑进 80 毫秒内,也免去了工厂部署昂贵服务器集群的顾虑。
对行业竞争而言,这直接改变了机器人大模型的竞争范式。过去做具身智能多依赖语言大模型加上视觉编码器,即所谓的 VLA 路线,但语言模型天生缺乏连续物理空间的几何直觉;而视频生成模型在数千万小时的视频洗礼下,早就掌握了碰撞与形变。
不过隐患也同样明显。视频生成模型天然存在幻觉和随机漂移,工厂环境对厘米甚至毫米级公差要求严苛,极小概率的物理误判在高速生产线上就可能造成昂贵损失。目前来看,它最适合的是容错率稍高、依赖柔性手感的装配分拣工序,要完全接管核心精密制造,仍需要更长周期的稳定性验证。
来源 (1)
- bfl.ai(在新标签页打开)原文bfl.ai