Luma AIが「Modify Video」公開：動きや表情を維持したまま動画の背景やキャラを変更

動画制作において、俳優の演技を活かしたまま背景や衣装だけを変える作業は、これまで膨大なコストがかかる工程でした。グリーンバックの設営、モーショントラッキング、CGの再レンダリングなど、ちょっとした変更でも撮り直しに近い負担が発生していたのが実情です。

Luma AIは動画編集機能「Modify Video」を公開しました。同社の動画生成基盤であるDream Machine: Ray 2に組み込まれており、撮影素材の演技やカメラの動きを正確に保持しながら、背景や質感、キャラクターの見た目だけを自在に差し替えることができます。

演技を固定し、周囲の世界だけを再構築する

従来のAI動画変換ツールでは、プロンプトを変更すると元の人物の姿勢や表情まで崩れてしまうことが珍しくありませんでした。Modify Videoは元動画から全身のポーズ、顔の表情、リップシンク、カメラワークの軌道を抽出し、それらをガイドとして維持したまま新しい映像を描画します。

これにより、自宅のガレージで撮った人物の動きをそのまま宇宙船のセットへ移動させたり、人間の動きをCGクリーチャーにトレースさせたりといった処理が可能になります。また、空に未確認飛行物体を追加する、服の色だけを変更するといった局所的なVFX編集も、トラッキング作業なしで行えます。

変化の度合いは3つのプリセットで制御できます。元の質感変更に重きを置くAdhere、創造性と元映像のバランスを取るFlex、人間を異形のモンスターに変貌させるような大胆な変更に対応するReimagineが用意されています。プロンプトを記述しなくても画像参照だけで生成でき、アスペクト比16:9（720p）に対応します。

外部レビュアーによるブラインド評価において、Modify Videoは競合のRunway V2Vと比較して、動きの再現度、表情の整合性、時間的な一貫性の面で高い評価を獲得したとLumaは説明しています。

なぜ重要か

AI動画技術の競争軸は、単に綺麗な映像を出す段階から、演出の意図をどこまで正確にコントロールできるかという実用性のフェーズへ移ったと私たちは考えています。

特に映像作家やプリビズ担当者にとって、この機能は企画段階のコストを大幅に下げる武器になります。クライアントへのプレゼンや絵コンテの動的検証において、スマホで自撮りした演技素材から数分で完成形に近いバリエーションを提示できるため、試行錯誤のスピードが格段に上がります。

複雑なパラメータ設定を強いず、3段階のプリセットに落とし込んだLumaの設計は非常に実践的です。技術的なハードルを感じさせずに直感的に使える点は優れています。

一方で、現時点の対応時間は最大10秒、解像度も720pにとどまっています。CMや映画の最終納品物にそのまま使うには解像度不足ですが、企画段階のモックアップやSNS向けコンテンツの制作においては、今すぐ現場で試す価値のあるツールといえます。