字節跳動開源 Bernini：一套架構搞定影片生成與精準編輯

Bernini 是字節跳動開源的一套影片生成與精準編輯框架。它把多模態大語言模型（MLLM）語義規劃器和基於 DiT 的渲染器結合在一起，用一套框架同時搞定文生影片、圖生影片、影片編輯、參考圖控制和特定內容插入。

以往做 AI 影片往往只能全篇重新抽卡，很難像剪輯師一樣進行精細修改。Bernini 想解決的就是這個問題，先由語義規劃器理解指令並規劃出畫面的邏輯變化，再交由渲染器生成影片幀，讓生成過程從單純的出片走向可導演式的編輯。

它能做什麼

Bernini 統一了六種基礎輸入輸出任務：文本生成影像、影像生成影像、文本生成影片、影片編輯（影片生成影片），以及帶參考媒體的影片編輯和生成。

在具體編輯能力上，它支援區域性內容替換、去除字幕和水印、風格遷移以及依據參考圖精準新增角色或物體。開發團隊建立的盲測競技場評分顯示，Bernini 在影片編輯任務上達到了閉源商業模型的第一梯隊水準。

不過也有早期上手反饋指出，儘管它的語義控制和編輯指令完成度很高，單論基礎影片畫面的質感和精細度，表現相對中規中矩。

怎麼跑起來

專案開源了完整的推理程式碼與模型權重，託管在 GitHub 和 Hugging Face 上。框架分為完整版 Bernini 和輕量渲染器 Bernini-R 兩套體系。

其中 Bernini-R 提供了基於 Wan2.1-1.3B 微調的 1.3B 級別小模型權重，視訊記憶體要求較低，在去水印、轉風格等簡單編輯任務上接近 14B 版本，但在複雜人體生成任務上會有所差距。訓練指南和訓練程式碼也已全部放出。

跑起來需要 Python 3.11 和 CUDA 12.6 環境，依賴 PyTorch、Diffusers 以及 Apache-2.0 協議的 Open-VeOmni 庫。硬體上推薦使用輝達 H100、H800 等 Hopper 架構顯示卡啟用 FlashAttention-3 加速，A100 或普通消費級 CUDA 顯示卡則可以降級使用 FlashAttention-2。

測試時可以通過官方提供的 Gradio 指令碼直接啟動本地網頁介面。如果配置了相容 OpenAI 介面的視覺大模型 API 金鑰，還能開啟提示詞自動增強功能，進一步提升編輯成功率。

為什麼重要

對於影片創作者和 AI 應用開發者來說，Bernini 提供了一個難得的開源區域性修改範式。如果你正受困於影片生成工具失控抽卡的隨機性，想做固定角色的連續分鏡、去除畫面水印或區域性改動，它的 1.3B 渲染器很值得本地部署跑跑看。

在行業層面，很多團隊還在卷文生影片的時長和解析度，字節跳動開源 Bernini 則把重點放到了語義規劃加分步渲染上。雖然它的初始畫質不算頂尖，但這種先把控制流走通的思路，很可能會成為後續開源影片模型迭代的重要方向。