跳到正文
IFAI

机器人

Black Forest Labs 发布 FLUX 3 Action:7B 开源模型刷新机器人基准,提速近 4 倍

首次发布 传播指数 39

Black Forest Labs 发布开源 7B 世界动作模型 FLUX 3 Action,专用于机器人控制。该模型在 RoboLab 基准上取得 42.2% 的成功率,参数量不到 Cosmos 3 Nano 的一半,速度却最高提升 3.95 倍。与 GPT 6 Astra 组成混合策略时,单次任务成功成本还能降低 29%。

Black Forest Labs 发布 FLUX 3 Action:7B 开源模型刷新机器人基准,提速近 4 倍
图:bfl.ai

FLUX 3 Action 是 Black Forest Labs 开源的一个 7B 参数世界动作模型,专门用来给机械臂等机器人或者游戏环境做动作控制。

以往做机器人具身智能,大家常常要二选一。要么选 Cosmos 3 Nano 这类世界动作模型,把画面和动作一起预测,理解力强、成功率高,但跑起来又重又慢;要么选 Pi0.5 这种视觉语言动作模型,速度倒是快了,但成功率直接跌掉一大截。

FLUX 3 Action 就是来打破这种妥协的。它虽然只有 70 亿参数,不到 Cosmos 3 Nano(16B)的一半,但在 RoboLab 基准测试里的表现却刷新了开源纪录。它的单步推理权重在 RoboLab 上拿到了 38.3% 的成功率,如果换成蒸馏了引导步骤的 checkpoint,成功率更是直接拉到 42.2%,甚至在完整榜单上达到 42.92%,把此前 36.8% 的 Cosmos 3 Nano 和 28.0% 的 Pi0.5 都甩在了身后。

它是怎么兼顾速度与精度的

这套模型能在 7B 体量下保持高精度,核心在于训练方法。它沿用了多模态 FLUX 3 的底座,先用海量的图像、视频和音频数据预训练,其中视频 token 占比超过 95%。

官方数据显示,如果只用 DROID 这类机器人动作数据硬练,成功率甚至不到 1%;但加上海量视频预训练后,立刻跃升到 11.6% 以上。海量视频教会了模型现实物理世界的变化规律,让它不需要死记每一个动作样本。

在接下来的中间训练阶段,团队混合了视频、音频以及对齐动作的数据,其中包含 14 种具身形态的遥测数据、手持夹爪数据,甚至还塞进了 19.55% 的游戏画面录屏,因此它不仅能指挥机械臂,也能用来做游戏操作和电脑操控。

速度方面,团队通过 Self-Flow 架构精简了参数,再通过蒸馏把采样步骤压到单步,彻底省掉了耗时的 guidance 前向传播。在消费级、工作站和数据中心 GPU 上用 FP8 运行时,FLUX 3 Action 的速度比 Cosmos 3 Nano 快了 1.52 到 3.95 倍。而且它一次能往前推算 2.13 秒的动作序列,远长于 Pi0.5 的 1.0 秒。

怎么用起来,规格是什么

Black Forest Labs 已经开放了模型权重与完整的微调文档。基础模型的权重大小大概只有 14 GB,不管是消费级显卡还是服务器都能跑起来。

在工作循环里,给它一句文字指令,比如「把红色方块放进左边箱子」,再喂入当前摄像头的画面和机械臂关节位置,模型就会同时预测出接下来的一组马达控制指令以及动作完成后的画面。机械臂执行完这批指令后,再拍一张新照片让模型重新校准,不断循环纠偏。

官方还给出了一个很有意思的落地思路:让 GPT 6 Astra 这类大模型负责全局长链条规划,而在具体执行物理动作时,把控制权交给本地的 FLUX 3 Action。如果全靠 GPT 6 Astra 慢吞吞推理,单次成功平均耗费 16 分钟、成本高达 13.47 美元;但换成这种混合策略,任务依然能拿下 90% 的成功率,单次成功成本却降到了 8.77 美元,耗时缩短到 8 分钟,相当于费用省了 29%,提速 40%,每次任务成功带来的收益比纯大模型高出 53.64%。

为什么重要

如果你在做机械臂控制、具身智能二次开发,或者想探索本地 AI 打游戏、操控图形界面,FLUX 3 Action 是目前非常值得上手的开源底座。它把世界动作模型的部署门槛从笨重的工作站集群,直接拉到了单张普通显卡就能玩的水平,14 GB 的体积在本地跑起来毫无压力。

对行业来说,它证明了视频生成底座能反哺物理世界控制,而且不需要堆砌庞大参数。用高频、轻量的开源小模型负责动作落地,把昂贵的前沿大模型当外挂大脑,看起来正是当下具身智能成本落地的最优解。

来源 (2)

  1. [1]
    bfl.ai(在新标签页打开)原文bfl.ai
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选