本文へスキップ
IFAI

画像・動画生成

Luma、動画生成Ray2向けに「カメラモーション概念」を提供開始

公開 拡散指数 40

Luma AIは動画生成モデル「Ray2」向けの新機能「Camera Motion Concepts」を発表した。従来のLoRAやファインチューニングと異なり、わずかなサンプルからカメラワークを学習し、画質を落とさずに自然言語で複数の動きを自在に組み合わせられる。本機能は本日からDream Machine上で利用可能だ。

Luma、動画生成Ray2向けに「カメラモーション概念」を提供開始
画像:lumalabs.ai

AI動画を生成する際、思い通りのカメラワークを指定しても、モデルが勝手に奇妙なズームや揺れを加えてしまい、納得のいく映像が出るまでガチャを引き続ける作業に悩まされてきた人は多いはずです。

米Lumaは3月31日、動画生成モデル「Ray2」向けの新制御機能「Camera Motion Concepts」を公開しました。同機能は本日から動画生成ツール「Dream Machine」内で利用可能になっています。

自然言語でカメラワークを自在に合成

この機能の核となるのは、同社が研究を進めてきた「Concepts」と呼ばれる新手法です。わずか1つまたは数個のサンプルから、新しい動作や概念をモデルに学習させることができます。

一度学習したカメラワークは、異なる被写体や多様な画風のシーンに対しても、安定して正確に再現できるとされています。

さらにユニークなのが合成機能です。従来のLoRAやファインチューニングとは異なり、複数の概念を推論時に自然言語プロンプトを使って簡単に組み合わせることができます。

これにより、物理的に撮影が不可能なアングルや、学習用データセットに存在しないような未知のカメラの動きまで生成できるようになります。

画質の劣化や機能制限を防ぐ仕組み

既存の微調整手法では、追加学習によってモデルの表現幅が狭まったり、生成クオリティが落ちてしまうモード崩壊が大きな課題でした。

Lumaによると、Ray2にConceptsを適用しても、元の描写クオリティや表現可能なスタイルの広さが損なわれることはないとしています。

また、このカメラ制御はRay2の既存機能と完全に連動します。画像からの動画生成(image-to-video)、開始フレームと終了フレームの指定、ループ動画の作成時にもそのまま重ねがけして適用できます。

同社は今後数週間でConceptsに関する研究成果をさらに共有し、カメラワーク以外の新たな制御機能も順次展開していく予定です。

なぜ重要か

動画生成AIがホビー向けの実験から本格的な映像制作ツールへと脱皮する上で、カメラの正確な制御は避けて通れない壁でした。

映像クリエイターや広告制作者にとって、この機能は今すぐ試す価値があります。開始と終了のキーフレームを指定した上で狙ったカメラワークを指示できるようになれば、試行回数を大幅に減らし、実務パイプラインへの組み込みが一気に現実的になるからです。

技術的なアプローチとしても、微調整による画質劣化を避けつつ、推論時に自然言語で複数概念を掛け合わせる設計は非常にスマートだと評価できます。Runwayなどの競合各社も、より直感的で破綻の少ないカメラコントロールの実装を迫られることになるでしょう。複雑な指示を与えた際にどこまでプロンプト同士が干渉せずに成立するかは今後の検証が必要ですが、演出の主導権が作り手に戻ってきた意義は大きいです。

情報源 (1)

  1. [1]
    lumalabs.ai(新しいタブで開きます)原文lumalabs.ai

トピックを追う生成ビデオモデルの競争

このトピックのニュース。新しい順です。

  1. Runway、動画生成AI「Gen-4 Turbo」発表 10秒動画を30秒で生成
  2. Runwayが新モデル「Gen-4」を発表、画像からの動画生成を有料会員に開放
  3. Luma、動画生成Ray2向けに「カメラモーション概念」を提供開始この記事
  4. Luma AI、DreamMachineに「Edit Thread」追加:解像度違いや音声を1カ所で管理
  5. Luma AI、動画生成「Ray2」のImg-to-Vid公開 手書きの落書きをアニメ化

毎日のAIピックアップ