Runwayが動画生成AI「Gen-1」発表、撮影映像をテキスト指示でクレイアニメ調に

テキストから画像を生み出すStable Diffusionの熱狂が続くなか、その共同開発元であるスタートアップのRunwayが、次のフロンティアである動画領域へと足を踏み入れました。

Runwayが発表した「Gen-1」は、既存の動画をベースに新たな映像を作り出すビデオ・トゥ・ビデオ（video-to-video）形式の生成AIモデルです。何もないところから動画を生成するのではなく、手持ちの実写映像にテキスト指示や参考画像を組み合わせることで、まったく異なるビジュアルへと丸ごと変換します。

公開されたデモを見る限り、単なる色調整やフィルターの域を完全に超えています。街中を歩く男性の何気ない実写が本格的なクレイアニメ調の映像へと生まれ変わり、雪原を歩く人物の映像がアポロ計画の月面着陸フィルムのような質感へと変貌を遂げています。

映像制作の現場を見据えた5つのモード

Gen-1は、実際のポストプロダクション現場を強く意識した5つのモードを備えています。

1つ目の「スタイライズ（Stylization）」は、1枚の静止画やテキストプロンプトのタッチをそのまま動画全体へ転写する機能です。

2つ目の「ストーリーボード（Storyboard）」は、簡易的なモックアップを完成版アニメーションに変換します。デモでは、机の上に無造作に置かれた本が、夜の摩天楼が広がるスカイラインへと変わる様子が示されました。

3つ目の「マスク（Mask）」は、動く被写体だけを切り出してスタイルを変更する機能です。4つ目の「レンダー（Render）」は、テクスチャのない無機質な3Dモデルに光と質感を吹き込み、完成されたCGシーンへと一瞬でレンダリングします。5つ目の「カスタマイズ（Customization）」では、これらのパラメーターをより細かく調整できます。

RunwayのCEO兼共同創業者であるCristóbal Valenzuela氏は、映画製作者やVFXエディターの実務に基づいた長年の知見が反映されているとMIT Technology Reviewに語っています。実際、同社の初期技術は昨年のヒット映画『エブリシング・エブリウェア・オール・アット・ワンス』の制作現場でも活用されていました。現在は早期研究アクセスの申請を受け付けており、数週間以内に提供範囲を広げる予定です。

なぜ重要か

Runwayのアプローチは、極めて現実的で賢い判断だと考えます。

テキストから直接動画を生成する手法は、カメラワークや被写体の整合性を保つのが難しく、狙った通りの映像を作るにはあまりにも偶然性に左右されます。一方でGen-1のように既存の動画を「骨組み」として利用すれば、構図やテンポの主導権を人間が握ったまま、テクスチャやスタイルの変更だけをAIに任せることができます。

これにより、個人クリエイターや小規模スタジオの映像制作コストは劇的に下がるはずです。高価なVFXソフトやレンダリングファームを使わずとも、スマートフォンで撮影した実写や机の上の小道具から、高品質なコンセプト映像を一気に立ち上げられるようになります。

ただし、公開されたデモと現場での実用性には往々にしてギャップが存在します。フレーム間のちらつきやキャラクターの形状崩れが、長めのカットでどこまで抑えられているかは、今後の一般公開を通じた検証が必要です。