ByteDanceが全モーダル動画編集「Bernini 2」をOSS公開、モデル単体で180GB

Bernini 2は、ByteDanceがオープンソースで公開した全モーダル動画生成・編集フレームワークだ。自然言語によるプロンプトを使って既存の動画を直接編集でき、シーンへのキャラクター追加、全体的な色調の変更、不要なオブジェクトの消去、カメラアングルの変更や背景の差し替えなどをこなす。

さらに参照画像を読み込ませることで、静止画に写ったヘリコプターなどのオブジェクトを既存の動画内に違和感なく合成することも可能だ。

何ができるのか、どう動いているのか

従来の拡散モデルが一気にフレームを生成するのに対し、Bernini 2は意味の分解とレンダリングを明確に分担している。まずQwen2.5-VLベースのマルチモーダルLLMが意味プランナーとして指示内容を具体的なレイアウト計画に落とし込み、その後Wan2.2ベースのDiTデコーダーが動画として描画する構成だ。

2026年6月に公開された第1弾と比較すると、今回のv2では共同学習の前にコネクタモジュールを数千ステップ事前ウォームアップさせる手法を採用した。これにより、参照画像を用いた動画編集やOpenS2Vの精度が大きく向上している。

ByteDance社内のブラインド評価では、動画編集タスクにおいて主要な商用クローズドモデルと同等の最高水準スコアを記録したという。

動作環境とセットアップ

最大の障壁は、その巨大なファイルサイズだ。モデル単体で180GBに達し、さらにVAEやT5テキストエンコーダーなどの周辺コンポーネントが加わるため、一般的な個人向けPCのローカル環境で動かすのは現実的ではない。

また、画像・動画生成で広く使われるComfyUIは、現時点で完全版のBernini-Diffusers-v2に対応していない。意味プランナーを省いたレンダラー単体版のBernini-RであればComfyUIの公式サポートがあるが、複雑な多段階指示の処理能力は劣る。

十分なVRAMを持つ環境があれば、Hugging FaceのByteDance/Bernini-Diffusers-v2からウェイト一式を取得し、GitHubの公式リポジトリにある推論スクリプトから動かすことができる。関連論文はarXiv:2605.22344で確認可能だ。

なぜ重要か

プランナーとレンダラーを分離し、LLMに下準備をさせてから拡散モデルで描画するという設計は、動画編集の破綻を抑えるアプローチとして非常に筋が良い。

ただし、個人開発者やクリエイターが今すぐ導入すべきかと言えば疑問が残る。180GBというストレージ要求は個人のマシン環境を完全に無視しており、手軽に画像参照動画を生成できるMiniMax H3などの選択肢が存在する現状では、コミュニティで広く普及するのは難しいだろう。軽量な量子化モデルやエンドツーエンドの軽量版が登場しない限り、大企業や研究機関向けの技術検証用にとどまりそうだ。