Luma、動画生成AI「Ray3 Modify」公開　始点・終点フレーム間の補間に対応

動画制作の現場において、再撮影ほどコストと手間がかかる作業はありません。俳優の演技や表情が完璧だったとしても、衣装の変更や背景の差し替え、あるいはシーン間のわずかな尺の不足によって、現場を再度セッティングせざるを得ないケースが多々ありました。

生成AIで修正しようとしても、これまでのモデルでは俳優の微妙な視線や感情表現までリセットされてしまう問題がありました。

米ベンチャーキャピタルのa16zなどが支援する動画・3D生成AI企業のLumaは、この課題を解決する新モデル「Ray3 Modify」を公開しました。

俳優の演技や視線をそのままにキャラクターを変換

動画生成AIは表現力に優れる一方で、思い通りの動きをコントロールするのが極めて難しいとされてきました。

Lumaによると、Ray3 Modifyは実写映像における俳優のパフォーマンスを損なわずに映像を編集・加工できる点が特徴です。既存の撮影素材にキャラクターの参照画像を読み込ませることで、実写の俳優の容姿を別キャラクターへと変換できます。

その際、俳優の元々の身体の動きや演技のタイミング、視線の向き、感情表現をしっかりと維持します。さらに衣装や外見の特徴も一貫して保持できるため、カットごとの整合性を保ちやすくなっています。

Lumaの共同創業者兼CEOであるAmit Jain氏は、カメラで実際の演技を記録し、それをAIによってあらゆるロケーションへの移動や衣装変更に活用できると説明しています。物理的な再撮影を行わずに、AIでシーンを撮り直すような運用が可能になります。

開始フレームと終了フレームを指定したトランジション生成

もう一つの大きな追加機能が、開始フレームと終了フレームの指定による動画生成です。

ユーザーが最初と最後のフレーム画像を与えることで、モデルがその間をつなぐトランジション映像を自動生成します。シーン間のつながりを保ちながら、キャラクターの挙動やカメラの切り替えを意図通りに制御できるようになります。

Ray3 Modifyは現在、同社のプラットフォーム「Dream Machine」を通じて提供されています。同社はRunwayやKlingなどと競合しており、動画修正機能を2025年6月に初めて投入していました。

なお、Lumaは11月にサウジアラビアの公共投資基金傘下のAI企業Humainが主導する9億ドルの資金調達を発表したばかりです。既存投資家のa16z、Amplify Partners、Matrix Partnersも参加しており、Humainとともにサウジアラビア国内に2GW規模のAIクラスタを構築する計画も進めています。

なぜ重要か

Ray3 Modifyの登場は、動画生成AIの主戦場が「プロンプトからの一発生成」から「既存の映像制作パイプラインへの組み込み」へと完全に移ったことを示しています。

映像クリエイターや広告制作会社にとって、この機能の実用性は非常に高いと言えます。演技の質や間合いは人間の俳優で担保し、背景美術や特殊効果、衣装の調整だけをAIに任せるというハイブリッドな制作が可能になるためです。わずかな修正のためにロケをやり直す無駄を大幅に削減できます。

業界全体で見れば、RunwayやKlingとの競争は「どれだけ綺麗に出力できるか」から「どれだけ監督の指示通りに制御できるか」の勝負になっています。開始・終了フレームの指定や演技の保持といったディレクション機能の充実は、法人向け案件を獲得する上で必須の条件になりつつあります。

もっとも、人間の演技データをどこまでAIで改変してよいのかという肖像権や契約上のルール作りはまだ追いついていません。それでも、実写のリアリティとAIの柔軟性を両立させるアプローチとして、Lumaの戦略は非常に手堅く実用的だと考えられます。