OmniTransfer公開：動画を1本渡すだけでVFX・動作・カメラワークを忠実に複製

OmniTransferは、オープンソース動画生成モデル「Wan 2.1」をベースに開発された統合型の動画転送フレームワークです。手元にある参照動画を1本渡すだけで、その中に含まれる視覚エフェクト、被写体の動作、カメラワーク、スタイル、人物のID（外見特徴）を別の画像へ直接移植できます。

何ができるのか

従来のAI動画生成では、動きを真似るには骨格抽出が必要で、カメラワークを再現するには軌道計算が必要でした。OmniTransferは、これら個別の前処理をすべて不要にしています。

エフェクト転送では、プロンプト不要かつゼロショットで爆発や煙、光などの複雑なVFXを静止画に転写し、時間的一貫性を保った動画を書き出します。

モーション転送では、事前のポーズ推定を行わずに、人間などの滑らかで複雑な動きを静止画へ直接流し込みます。複数人の動きの同期にも対応可能です。

カメラワークの複製においても、カメラの軌道や内部パラメータを計算することなく、映画のような高度な画角の動きを静止画の風景へそのまま反映できます。

さらに、動画から人物の特徴を抽出して維持するID転送や、色味や雰囲気を引き継ぐスタイル転送も網羅しています。複数の動画から「動き」と「スタイル」を別々に持ち寄る複合タスクや、Seedance 1.0との連携による迫力ある描写にも対応しています。

どのような仕組みか

空間的な見た目と時間的な動きを1つのモデルで両立させるため、OmniTransferは3つの工夫を凝らしています。

1つ目はタスク認識型の位置バイアスで、モデル自身が持つ時空間コンテキストをタスクごとに最適配分します。

2つ目は参照分離型の因果学習で、参照動画の処理ブランチと生成ターゲットを切り離し、因果関係を保ちながら効率的な転送を実現します。

3つ目はマルチモーダルLLMを活用したアライメントで、異なるタスク間でも意味的な整合性を維持できるようにしています。

現在はarXivに論文が公開されており、 Wan 2.1を基盤とした非商用の学術研究プロジェクトとして多数のデモが披露されています。

なぜ重要か

中間生成物（骨格推定データやカメラ座標）を一切挟まず、動画から動画へダイレクトに特徴を流し込める設計が非常に実用的です。中間工程で発生していたズレやエラーの蓄積を根本から回避できます。

映像制作や絵コンテのプロトタイピングを行うクリエイターにとって、表現の幅を広げる強力な道具になる可能性があります。今後はコンシューマー向けGPU環境での動作要件や、コミュニティでの実装共有がどこまで進むかが注目のポイントです。