「Warp-as-History」登場：たった1本の動画学習でAIのカメラワークを自在に制御

生成AIによる動画制作において、カメラワークを意図通りに制御するのは極めて骨の折れる作業でした。従来は巨大なカメラ用エンコーダーを追加するか、膨大なデータで専用の制御ブランチを再学習させるのが一般的でした。

上海交通大学や上海AIラボなどの研究チームが発表した「Warp-as-History」は、そうした常識を大きく覆すアプローチをとっています。モデルの基本構造には手を加えず、わずか1本のカメラ注釈付き動画で軽量なLoRA微調整を行うだけで、未知のシーンでも狙い通りのカメラワーク追従を可能にしました。

視点移動を「直前の記憶」に見せかける

最新の動画生成モデルは、過去の映像フレームを参照しながら続きを予測する能力を標準で備えています。Warp-as-Historyは、この既存の仕組みをそのまま利用します。

目標とするカメラ軌道に合わせて元の映像を幾何学的に変形させ、それをあたかも直前に存在していた過去の映像履歴であるかのように偽装して入力します。つまり、カメラの移動を新たな外部指示として与えるのではなく、過去の記憶としてモデルに錯覚させる仕組みです。

カメラの角度が変わると、当然ながら元の映像には存在しない死角が生じます。Warp-as-Historyでは情報のない無効なトークンを潔く破棄し、見えなくなった背景の補完はベースモデルが持つ強力な想像力にそのまま委ねています。

なぜ1本の動画学習で十分なのか

驚くべきことに、一切の調整を行っていないフリーズ状態のベースモデルであっても、この履歴変形を入力するだけで基本的なカメラ追従の挙動を示します。

そのため、追加学習に求められる役割は極めて限定的です。研究チームはカメラ軌道が記録されたたった1本の動画を使って、軽量なオフラインLoRA微調整を一度行うだけに留めています。

この微調整の目的は、映像の描画方法を覚え直すことではなく、提示された変形情報をどこまで忠実にたどり、どの部分からモデル自身の補完に切り替えるべきかのバランスを調整することです。結果として、このLoRAは初見のシーンや複雑な移動軌道に対しても高い汎用性を発揮し、キーボード操作によるインタラクティブな視点移動すら実現しています。

なぜ重要か

私たちは、この手法の最大の賢快さは、モデル本来のアーキテクチャに逆らわず、備わっているコンテキスト処理経路をそのまま活用した点にあると考えています。

動画クリエイターや個人開発者にとって、カメラ制御にかかる計算コストが劇的に下がる意味は大きいです。巨大な専用モジュールの公開を待たなくても、手持ちのベースモデルに軽量なLoRAを組み合わせるだけで、自由なカメラワークが得られる道が開かれました。

業界全体にとっても、Genie 3のようなインタラクティブな仮想空間シミュレーションやゲームプロトタイプの開発ハードルを一気に引き下げる契機になり得ます。

ただし、このアプローチは手前のフレームからの幾何学的変形を起点にしているため、視点が真後ろまで回り込むような極端な大回転や、激しい遮蔽が発生する場面では、破綻を防げるかどうかがベースモデル自体の補完性能に強く依存するという制約は残ります。