動画版ControlNet「CogOmniControl」発表　数フレームのラフ画から映像を精密制御

アニメや映画の絵コンテを描いたことがある人なら、制作初期のスケッチがいかにラフかをご存知のはずです。棒人間や数フレームの落書きのような下書きは、従来の動画生成AIに入力しても無視されるか、意図と全く異なる映像になりがちでした。

研究チームは新たなフレームワーク「CogOmniControl」の論文を発表しました。画像生成で大きな役割を果たしたControlNetの考え方を、動画生成向けに本格展開した試みです。

わずか3フレームのラフ画から映像を組み立てる

これまでの動画生成モデルは、詳細なプロンプトや綺麗に整えられた始点・終点フレームを前提とすることが多く、絵コンテのような粗い入力に対しては脆弱でした。

CogOmniControlはこの制約を突破しようとしています。公開されたデモでは、わずか3フレームからなる非常に粗いラフスケッチのアニメーションと、キャラクターの参照画像、テキスト指示文を組み合わせるだけで、スケッチ通りの動きを忠実に再現した動画が生成されました。

ラフ画だけでなく、骨格アニメーションや線画の入力にも対応しています。人物のポーズ骨格とキャラクター画像を与え、「建物の前に立ち、豊かな緑と木々に囲まれている」と指示すれば、指定した動き、キャラクターの容姿、背景のディテールを同時に維持した映像が得られます。

意図の理解と動画生成を切り離す設計

粗いスケッチを意図通りに解釈できる理由は、制作意図の「認識」と「生成」を明確に分けた点にあります。

従来の手法では汎用VLMやアダプターを直接組み込むことが多く、専門的な絵コンテの意図を汲み取れませんでした。そこで本手法では、実際の商業アニメ制作データで学習させた専用モデル「CogVLM」を採用し、抽象的な条件から濃密な推論出力を導き出します。

生成を担うCogOmniDiTは、強化学習を通じてCogVLMの推論と整合を取りながらマルチ条件を統合します。さらにCogVLMが評価基準を設計し、複数の生成結果から最適な動画を選ぶBest-of-Nの選別を行うことで、閉ループの制御体制を築いています。新設されたベンチマーク「CogReasonBench」および「CogControlBench」において、既存のオープンソースモデルを上回る精度を記録しました。

なぜ重要か

私たちは、CogOmniControlが目指す方向性を極めて実用的だと評価しています。動画生成AIがプロの現場に浸透しない最大の壁は、意図通りの動きを直感的に指示できない点にあったからです。

クリエイターにとって、完成したキーフレームを何枚も用意する手間をかけず、3フレームの走り書きから意図したカメラワークやアクションを形にできる価値は絶大です。プリプロ工程の試行錯誤にかかる時間は劇的に削られます。

推論モデルに監督の役割を持たせ、拡散モデルと役割分担させた構造も理にかなっています。ただし、現時点で公開されているのは論文のみで、コードや重みは提供されていません。また、アニメ制作データ主体の学習モデルが実写映像にどこまで適応できるかも、今後の検証が必要です。