ByteDanceが動画生成・編集モデル「Bernini」をオープンソース公開

Berniniは、ByteDanceがオープンソースで公開した動画生成および動画編集フレームワークです。マルチモーダル大規模言語モデル（MLLM）による意味プランナーと、DiTベースのレンダラーを組み合わせることで、テキスト、画像、動画をまたぐ生成と編集を単一のパイプラインで処理します。

これまでの動画AIツールは最初から動画全体を再生成する手法が主流で、細かい修正が困難でした。Berniniは、まず言語モデルが画面内の変化を論理的に計画し、その指示に基づいて拡散レンダラーが映像を描画するため、指示通りのコントロールが効く編集を実現しています。

何ができるのか

Berniniは、テキストから画像、画像から画像、テキストから動画、動画から動画（編集）に加え、参照メディアを条件とする編集や生成など、計6つのタスクを単一のインターフェースで処理できます。

具体的な機能としては、字幕や透かしの除去、スタイルの変換、特定エリアの物体置換、参照画像に基づいたキャラクターやアイテムの挿入に対応しています。開発チームが実施したブラインド評価では、動画編集タスクにおいて商用モデルの上位水準に達したとされています。一方で、初期検証を行ったユーザーからは、編集の追従性は高いものの、生成される映像自体の質感や画質は標準的な水準にとどまるという声も上がっています。

動かすための環境

プロジェクトの推論コード、学習コード、モデルの重みはGitHubおよびHugging Faceで公開されています。フル構成のBerniniとレンダラー単体のBernini-Rの2系統が提供されています。

Bernini-RにはWan2.1-1.3Bをベースにした1.3Bモデルが含まれており、透かし除去やスタイル変換などの簡単なタスクであれば14B版に近い精度を発揮します。ただし、人物生成のような複雑な処理では上位モデルに劣ります。動作にはPython 3.11とCUDA 12.6環境が必要で、PyTorchやDiffusersのほか、Apache-2.0ライセンスのOpen-VeOmniパッケージを導入します。

ハードウェアはH100などのHopper世代GPUでFlashAttention-3を使う構成が推奨されていますが、A100や一般的なCUDA GPUでもFlashAttention-2にフォールバックして動作します。GradioによるWebUIも付属しており、OpenAI互換のビジョンAPIを設定すればプロンプトの自動最適化機能も利用可能です。

なぜ重要か

動画制作を行うクリエイターやツール開発者にとって、ローカルで動く高精度な動画編集モデルは実用性の高い選択肢です。透かし消しや参照画像を用いたオブジェクト挿入など、商用サービスでは融通が利かないピンポイントの修正を自前環境で試す価値があります。

動画生成の競争が単なる画質勝負からワークフローの制御性へと移りつつある中で、意味計画と描画を切り分けたBerniniのアプローチは、オープンソース動画モデルの進化における現実的な方向性を示しています。