Metaが「Movie Gen」発表：30B映像と13B音声モデルで高精度編集や個人向け動画生成に対応

AI動画を触ったことがある人なら、生成された映像が無音であることや、一部分だけを修正したくても最初からやり直すしかないもどかしさを感じたことがあるはずです。

Metaは10月4日、メディア生成基盤モデル「Movie Gen」を発表しました。高品質な映像の生成だけでなく、細かな編集やキャラクターの固定、映像に同期した音響制作までをカバーする研究成果です。

今回発表された中核は2つのモデルです。映像を担当する「Movie Gen Video」は300億パラメータのTransformerモデルで、テキストプロンプトからさまざまなアスペクト比の高精細な長時間動画を生成できます。Metaによると、複数のアスペクト比に対応した長尺高精細動画の生成は業界初だといいます。

音声側を担うのが130億パラメータの「Movie Gen Audio」です。動画を入力し、必要に応じてテキスト指示を加えることで、映像の動きに同期した環境音や効果音、インストゥルメンタルのBGMを高音質で自動生成します。

ピンポイントな動画編集と写真1枚からの動画化

Movie Genの大きな特徴は、生成後のコントロール性の高さにあります。

従来のAI動画は画面全体を一括生成するのが一般的でしたが、Movie Genはテキスト指示による高精度な動画編集が可能です。生成済み動画や手持ちの動画に対し、特定の要素だけを追加、削除、差し替えたり、背景や全体のスタイルだけを変更したりできます。

さらに、人物の写真1枚とテキストを入力するだけで、その人物の顔立ちや特徴を維持したまま自然に動く動画を作るパーソナライズ動画生成にも対応しています。

プロの制作現場からのフィードバックを得るため、Metaは映画制作会社のBlumhouseと提携しました。選ばれた映画監督たちが正式公開前にMovie Genを試用しており、映画監督のアニシュ・チャガンティ氏は「i h8 ai」と題した短編映像を制作して実用性を検証しています。

なぜ重要か

Metaのアプローチは、AI動画の競争軸を単なる「画質の綺麗さ」から「実務で使える編集性」へと引き上げようとしている点で極めて合理的だと考えられます。

現在の動画制作フローでは、映像生成、音声生成、細部の修正がバラバラのツールに分断されています。失敗した部分だけを直すことが難しく、ガチャのように何度も生成を繰り返すのが実情です。Movie Genのように、音声の自動同期や局所的な修正、同一人物の保持を最初からワンセットで提供できれば、クリエイターの作業負担は劇的に下がります。

もし一般向けにリリースされれば、個人の動画クリエイターが低コストで映画クオリティのプレビズやショート動画を作れるようになるはずです。

ただし、現時点ではあくまで研究段階であり、Metaも一般公開に向けてフィードバックを反映中とするにとどめています。300億パラメータの映像モデルと130億パラメータの音声モデルを同時に動かす計算コストは膨大です。一般ユーザーが日常的に使える機能としていつ、どのような形で開放されるかはまだ慎重に見極める必要があります。