Google、LLM基盤の動画生成モデル「VideoPoet」発表　拡散モデルを使わず10秒の一貫した大動作を生成

RunwayのGen-2などに触れたことがある人なら、AI動画の弱点によく出くわしているはずです。被写体が大きく動いたり、カメラが急激に動いたりすると、輪郭が溶け出して不自然なノイズに化けてしまう現象です。現在の動画生成AIはほぼ拡散モデルが主流ですが、Google Researchはこの課題に対して、あえて大規模言語モデル（LLM）で動画を作るという別のアプローチを持ち出しました。

Google ResearchのDan Kondratyuk氏とDavid Ross氏らは12月19日、ゼロショット動画生成モデル「VideoPoet」を発表しました。従来の拡散モデルではなく単一の自己回帰型LLMを採用し、大きな動きを含みながらも破綻の少ない最長10秒の動画を生成できます。

映像も音声もトークン化して単一LLMに食わせる

拡散モデルがピクセルを直接ノイズから復元するのに対し、LLMは本来、テキストなどの離散トークンを扱うのが得意です。Googleは動画生成にもこのLLMの学習効率とスケーラビリティを応用しようと考えました。

仕組みの肝となるのがトークナイザーです。映像と画像には「MAGVIT V2」を、音声には「SoundStream」を使い、それぞれを整数のトークン列へと変換します。これにタスクの種類を示す特殊トークンや境界トークンを組み合わせることで、テキストと同じようにLLMで処理できるようにしました。

この構成により、既存のLLM向けに磨き上げられてきた分散学習インフラをそのまま流用できるという、開発上の大きなメリットが生まれます。

10秒の大きな動きと音声生成を1つのモデルで完結

これまでの多くの動画モデルは、崩れを防ぐために小さな動きしか描けませんでした。VideoPoetでは、タイムズスクエアで踊るアライグマや、ゴッホの『星月夜』の世界を疾走する馬など、激しいアクションを含む10秒間のシーンを滑らかに描き出します。

さらに、テキストからの動画生成だけでなく、静止画のアニメーション化、動画のインペインティングやアウトペインティング、オプティカルフローと深度情報を活用したスタイル変換、さらには動画に合わせた音声を生成する機能まで、すべて単一のモデルで処理します。

なぜ重要か

VideoPoetの登場は、動画生成AIにおける「拡散モデル一強」の前提を覆す大きな一歩だと私たちは考えています。

クリエイターにとっての最大の魅力は、動画生成、編集、画風変換、そして効果音の付与までが単一のモデルで完結する点にあります。これまでは複数のツールを行き来して合成していた作業が、ひとつのパイプラインにまとまる可能性を示しました。ただし現時点では研究論文とデモの公開にとどまっており、一般のユーザーが今すぐ制作現場に導入できる段階ではありません。

業界全体から見れば、LLMベースで動画が成立するとなれば、テキスト向けに急速に進化したスケーリング則の恩恵を動画生成もダイレクトに受けられることになります。これはRunwayなどの拡散モデルを主軸に据える先行スタートアップにとって、強い対抗軸になるはずです。

Googleの手法は、バラバラだった動画関連タスクをひとつのLLMに束ねた点で非常に合理的です。一方で、映像を離散トークンに圧縮する過程で細部の画質が犠牲になりやすい点や、高フレームレートのトークン生成にかかる計算コストの高さは依然として無視できません。実用ツールとして普及させるには、推論コストをどこまで下げられるかが今後の焦点になります。