Luma Labs、Dream Machineに自然言語で動画編集できる「Modify with Instructions」を追加

動画を撮り終えた後に衣装の色を変えたくなったり、余計な小道具が映り込んでいることに気づいた場合、これまでは気の遠くなるようなマスキング作業を行うか、生成AIならプロンプトを最初から回し直すしかありませんでした。

Luma Labsは動画生成ツール「Dream Machine」の新機能として「Modify with Instructions」をリリースしました。すべての有料登録者を対象に、自然言語の指示だけで動画内のオブジェクト置換や衣装変更、背景の作り替えができる編集機能を提供します。

1フレーム選んで指示文を打つだけ

使い方はいたってシンプルです。変更したい対象がはっきりと映っているフレームを1つ選び、「赤いドレスを青いスーツに」「コーヒーカップをワイングラスに」といった簡潔な指示文を入力します。

Dream Machineがその意図を理解し、カット全体に変更を自然に反映します。不要なオブジェクトの消去や天候の変化、広告向けの製品配置、衣装の差し替えなど、VFXや映像制作の現場でよくある編集作業をカバーしています。

3段階の強度調整と現時点での制約

思い通りの仕上がりに近づけるため、適用強度はスライダーで調整可能です。元映像のディテールを残す「Adhere」、適度な自由度を持たせる「Flex」、大胆に再構成する「Reimagine」の3段階が用意されています。

一方で、現バージョンにはいくつかの制約もあります。変更指示を正確に反映させるためには、変更対象が動画の最初のフレームに映っていなければなりません。

また、対応するアスペクト比は 9:16、3:4、1:1、4:3、16:9、21:9 の6種類に限定されています。これら以外の比率の動画をアップロードすると自動でトリミングや変換が行われ、画質が劣化する恐れがあります。

なぜ重要か

映像クリエイターや広告制作者にとって、再生成の手間を省き、狙ったパーツだけを修正できるワークフローは試行錯誤のコストを劇的に下げてくれます。全体を作り直すことなく部分的なリテイクを出せるため、日常的に動画プロトタイプを作る人なら試す価値があります。

AI動画全体の流れを見ても、競争の軸は「いかに綺麗な映像をゼロから生成するか」から「生成した映像をどれだけ精密にコントロールできるか」へと移行しています。Lumaがテキスト入力による直感的な部分編集を標準機能として組み込んだことで、RunwayやPikaといった競合ツールも編集制御の強化を一段と急ぐことになるはずです。

私たちは、複雑なトラッキング作業を自然言語の指示に置き換えたアプローチを非常にスマートだと評価しています。ただし、対象が最初のフレームに存在しなければならないという制約は、時間軸をまたぐ追従制御がまだ途上であることを物語っています。現状は優秀な初期プロトタイプ支援ツールとして活用しつつ、より自由度の高いフレーム制御の登場を待つのが現実的です。