Runway、動画生成AI「Gen-3 Alpha」に画像から動画を作る新機能を追加

テキストから動画を生成するAIツールで、同じキャラクターやトーンを維持したまま短編作品を作るのは、これまで極めて困難な作業でした。

Runwayは7月29日、同社の動画生成モデル「Gen-3 Alpha」に新機能「Image to Video（画像から動画）」を追加したと発表しました。任意の画像を最初の1フレームとして指定し、それを起点に10秒間の動画を生成できます。

画像単体で動かすことも、テキストプロンプトを併用して動きやカメラワークを指定することも可能です。

キャラクターのブレを抑え、最初の1枚から動かす

Gen-3 Alphaはテキストからの動画生成において高い評価を得ていましたが、登場人物の顔立ちのブレやリアルな動作の再現には課題が残っていました。

今回の機能により、Midjourneyなどの画像生成ツールで作ったキャラクターや、実際にカメラで撮影した写真を1コマ目として読み込ませることが可能になりました。先行検証では、テキストのみで生成するよりも画質や動きの自然さが大幅に向上し、従来のモデルで目立ったスローモーションのような不自然な挙動が改善されたと報告されています。

さらにRunwayのリップシンク（口唇同期）機能とも連携できるため、静止画の人物を動かした上で、音声に合わせた発話シーンを作るワークフローも構築できます。

ただし、モデルはまだAlpha版です。バスケットボールをプレイするような激しい運動をテキストで誘導しようとすると、かえって動きが破綻するといった課題も指摘されています。

なぜ重要か

私たちは、このアップデートによってAI動画生成が単なる「おみくじ」から、実用的な映像制作パイプラインへと一歩前進したと考えます。

クリエイターにとって、テキストから直接動画を生成する方法は一貫性の維持が極めて困難でした。しかし、静止画でキャラクターのデザインや構図を完全に固めてから動画化できるなら、複数のカットをつなぎ合わせたストーリー制作が一気に現実味を帯びてきます。

競合ツールが画像起点の動画生成を強化するなか、Runwayがこの機能を投入したことは妥当な一手です。テキストでの複雑な指定に頼るのではなく、既存の画像生成ツールや実写素材と役割分担させる形をとった点も理にかなっています。

一方で、複雑な身体動作の制御にはまだ課題が残っています。狙い通りのテイクを得るためには試行回数が必要であり、今後予定されているVideo-to-Videoの機能拡充を含め、どこまで動きを精密にコントロールできるようになるかが次の焦点となるでしょう。