AI動画の不自然な動きを克服する新手法「VideoJAM」が登場

現在のAI動画生成は、静止画としての美しさには目を見張るものがある一方、被写体が走り出したり複雑なアクションを始めたりすると、途端に不自然な歪みや物理法則の破綻が露呈しがちです。

この問題の原因は、従来のモデルがピクセルの再構成ばかりを重視して学習しており、見た目の解像度と引き換えに時間軸上の動きの一貫性を犠牲にしていたことにあります。

研究チームはこうした課題を根本から解決すべく、動画生成フレームワーク「VideoJAM」を発表しました。

外観と動きをセットで学ぶ新アプローチ

VideoJAMの鍵となるのは、外観と動きを同時に捉える共同表現の導入です。

学習フェーズでは、入力動画のフレームとその動きデータを単一の潜在表現に統合して処理させます。拡散モデルは、この共通の表現から見た目のピクセルと動きの軌跡の両方を同時に予測するよう求められます。

さらに生成推論時には、「Inner-Guidance（内部ガイダンス）」と呼ばれる仕組みが作動します。外部から特別な指示を与えなくても、モデル自身が生成過程で導き出す動きの予測を動的な道しるべとして利用し、物理的に破綻しないリアルな動きへと自動的に補正します。

既存のモデルに後付け可能でSora超えを主張

VideoJAMの大きな強みは適応性の高さです。学習データを一から作り直したりモデルサイズを巨大化させたりする必要がなく、既存の動画生成モデルにわずかな改修を加えるだけで適用できます。

研究チームは実際にDiT-30Bをベースにして「VideoJAM-30B」を構築し、複雑な動作が求められる過酷なプロンプト群で検証を行いました。

その結果、元のDiT-30Bを大きく上回っただけでなく、動作の一貫性においてSoraやKling、Runway Gen-3といった名だたる商用モデルを凌駕する評価を獲得したとしています。動きが滑らかになるだけでなく、見た目の画質向上にも寄与している点が特徴です。

本研究は国際会議ICML 2025に採択されています。

なぜ重要か

映像クリエイターやCG制作者にとって、AI動画の最大のボトルネックは「動きの制御不能さ」でした。静止画がどれほど実写並みでも、振り向いた瞬間に身体が崩れてしまえば商用素材として使えません。VideoJAMのように物理法則に沿った動きを安定して出せるようになれば、映像制作の実務投入が一気に現実味を帯びてきます。

また、業界全体にとってもこのアプローチは示唆に富んでいます。巨大テック企業は計算リソースとデータをひたすら注ぎ込む力技で物理演算を再現しようとしていますが、VideoJAMは目的関数の工夫という軽量なアプローチで商用モデルに対抗できる可能性を示しました。

長尺動画での検証や極端に激しいシーンでの安定性など実用化に向けた課題は残るものの、既存モデルにプラグイン感覚で組み込める技術として、オープンソースコミュニティを中心に大きな波及効果が期待されます。