字节跳动开源 Bernini：一套架构搞定视频生成与精准编辑

Bernini 是字节跳动开源的一套视频生成与精准编辑框架。它把多模态大语言模型（MLLM）语义规划器和基于 DiT 的渲染器结合在一起，用一套框架同时搞定文生视频、图生视频、视频编辑、参考图控制和特定内容插入。

以往做 AI 视频往往只能全篇重新抽卡，很难像剪辑师一样进行精细修改。Bernini 想解决的就是这个问题，先由语义规划器理解指令并规划出画面的逻辑变化，再交由渲染器生成视频帧，让生成过程从单纯的出片走向可导演式的编辑。

它能做什么

Bernini 统一了六种基础输入输出任务：文本生成图像、图像生成图像、文本生成视频、视频编辑（视频生成视频），以及带参考媒体的视频编辑和生成。

在具体编辑能力上，它支持局部内容替换、去除字幕和水印、风格迁移以及依据参考图精准添加角色或物体。开发团队建立的盲测竞技场评分显示，Bernini 在视频编辑任务上达到了闭源商业模型的第一梯队水准。

不过也有早期上手反馈指出，尽管它的语义控制和编辑指令完成度很高，单论基础视频画面的质感和精细度，表现相对中规中矩。

怎么跑起来

项目开源了完整的推理代码与模型权重，托管在 GitHub 和 Hugging Face 上。框架分为完整版 Bernini 和轻量渲染器 Bernini-R 两套体系。

其中 Bernini-R 提供了基于 Wan2.1-1.3B 微调的 1.3B 级别小模型权重，显存要求较低，在去水印、转风格等简单编辑任务上接近 14B 版本，但在复杂人体生成任务上会有所差距。训练指南和训练代码也已全部放出。

跑起来需要 Python 3.11 和 CUDA 12.6 环境，依赖 PyTorch、Diffusers 以及 Apache-2.0 协议的 Open-VeOmni 库。硬件上推荐使用英伟达 H100、H800 等 Hopper 架构显卡启用 FlashAttention-3 加速，A100 或普通消费级 CUDA 显卡则可以降级使用 FlashAttention-2。

测试时可以通过官方提供的 Gradio 脚本直接启动本地网页界面。如果配置了兼容 OpenAI 接口的视觉大模型 API 密钥，还能开启提示词自动增强功能，进一步提升编辑成功率。

为什么重要

对于视频创作者和 AI 应用开发者来说，Bernini 提供了一个难得的开源局部修改范式。如果你正受困于视频生成工具失控抽卡的随机性，想做固定角色的连续分镜、去除画面水印或局部改动，它的 1.3B 渲染器很值得本地部署跑跑看。

在行业层面，很多团队还在卷文生视频的时长和分辨率，字节跳动开源 Bernini 则把重点放到了语义规划加分步渲染上。虽然它的初始画质不算顶尖，但这种先把控制流走通的思路，很可能会成为后续开源视频模型迭代的重要方向。