跳到正文
IFAI

AIGC

Black Forest Labs 开启 FLUX 3 早期访问:图影音统一架构,支持 20 秒原生配音视频

首次发布 传播指数 42

Black Forest Labs 推出多模态基座模型 FLUX 3 并开启早期访问。该模型基于 Self-Flow 架构,在统一网络中同时学习图像、视频与音频,支持单次生成长达 20 秒带原生音频的视频,并能拓展至机器人动作预测。官方计划在未来数周逐步开放图像生成与开源权重 Dev 版本。

Black Forest Labs 开启 FLUX 3 早期访问:图影音统一架构,支持 20 秒原生配音视频
图:bfl.ai

很多做视频生成的团队,都在走一条修修补补的路:先让模型生成画面,再挂一个音效模型配音,最后想办法靠额外的控制网让人物别变脸。这种拼装车开起来总让人觉得哪里不对劲,声音经常对不上口型,动作也往往不合物理常识。

做出生图神器 FLUX 的 Black Forest Labs,这次打算直接把底座换了。他们正式公布了新一代多模态基础模型 FLUX 3,目前已经开启早期测试。和以往的模型不同,它不是先学画面再学声音,而是在一个统一架构里,把图像、视频和音频一起塞进去联合训练。

视频带原生声效,一口气生成 20 秒

FLUX 3 底层用的是他们自研的 Self-Flow 架构。官方团队的逻辑很简单:现实世界里,物体的碰撞伴随着声响,重量决定了惯性,不同感官本来就是同一种物理规律的投射,硬把视觉和声音拆开学,模型自然理解不了真实世界。

这套架构带来的最直观变化,就是视频自带原生音频。FLUX 3 单次可以直接生成最长 20 秒、带原生音频的视频,支持文本生成视频、图片垫图动画、以及用参考片段进行视频生视频。

创作长片最让人头疼的过渡控制,它也给出了解决方案。模型支持关键帧生视频,可以在指定节点之间做平滑转场,还能通过智能体链式调用把单个镜头串成长序列。甚至在测试中,它已经能搞定多语言角色对白和复杂的动态排版文字。

在初步的人工评测里,官方用 10 秒 720p 带音频的文本生视频去对比同行。FLUX 3 面对 Runway Gen-4.5 拿下了 77% 的胜率,对阵 Luma Ray 3.2 更是高达 93%,面对 Grok Imagine Video 胜率为 69%,比起快手的 Kling v3 Pro 也有 60% 的偏好度,即便面对 Gemini Omni Flash 和 Seedance 2.0,胜率也达到了 52%。

从生成画面,直接拐向奥迪工厂的机器人

除了做内容,FLUX 3 还藏着一步更大的棋:动作预测。

Black Forest Labs 认为,理解物理世界画面的模型,天生就该懂机械臂怎么动。他们把 FLUX 3 的视频主干网络拿来做物理 AI,并和 mimic robotics 合作推出了 FLUX-mimic 动作模型。

目前这个模型已经在奥迪的真实生产线任务中进行灵巧操作测试。换句话说,同一个多模态底座,向上可以给好莱坞做特效镜头,向下可以给汽车工厂的机械臂当大脑。

在落地节奏上,目前 FLUX 3 Video 已经通过 API 和私有权重形式开放早期访问;接下来几周会开启 FLUX 3 Image 的测试;更受开源社区期待的开放权重版本 FLUX 3 Dev,也会在后续几个月推出。

为什么重要

对于影视创作者和独立开发者来说,FLUX 3 最实用的价值在于「省事」。以前做 AI 视频需要生视频、生音效、做口型同步三套工作流,现在单次就能出 20 秒带声画同步的素材,还有参考帧保持角色一致性,制作短片的门槛被拉低了一大截。

对行业而言,它把视频模型的竞争纬度从单纯卷画面质感,拉到了原生声画协同和物理世界模型的新战场。当一个模型能把画面运动和碰撞声音严丝合缝地绑在一起,那些靠多套零散模型拼凑方案的厂商会很难受。

我们认为 Black Forest Labs 这一步走得相当狡黠。他们没有在纯视频生成的红海里跟对手卷时长,而是借着统一底座把触角伸到了具身智能和工业机器人领域,这直接打开了商业想象力。

不过隐患也显而易见。20 秒带原生音视频联合生成,再加上极高的多模态计算复杂度,背后的推理成本和算力开销恐怕不是个小数目。未来开放的 FLUX 3 Dev 到底需要多大显存才能跑起来,消费级显卡还能不能像以前玩 FLUX 1 那样轻松部署,才是它能不能真正统治开源生态的关键。

来源 (1)

  1. [1]
    bfl.ai(在新标签页打开)原文bfl.ai

每日 AI 内容精选