Netflix、動画スタイル変換「ID-V2V」を公開：顔や表情を崩さず背景を一新

Netflix傘下のEyeline Labsが、動画のスタイル変換フレームワーク「ID-V2V」をオープンソースとして公開しました。動画の中のキーフレームを1枚編集するだけで、シーン全体の画風や照明、背景をガラリと変えつつ、被写体の顔立ち、視線、細かな表情変化、リップシンクを完全に維持できるツールです。

従来のAI動画スタイル変換では、画風を変えようとすると顔が別人に化けたり、表情が崩壊したりするのが日常茶飯事でした。ID-V2Vは単一人物だけでなく複数人が映るカットにも対応しており、背景をそのまま維持して照明だけを切り替える「動画のリライティング」ツールとしてもそのまま機能します。

ズレたキーフレームを自動補正、ペア不要の賢い学習

実際に使う際は、NanoBananaなどの画像編集AIで最初の1コマを加工するのが一般的です。しかし、そうしたツールで加工した画像は、元の動画の1コマ目と微妙にポーズや表情がズレてしまうことが多々あります。

ID-V2Vが実用的なのは、この不完全なキーフレームを許容してくれる点です。出力動画の1フレーム目は編集画像を引き継ぎますが、2フレーム目以降は自動的に元動画の正確なポーズや表情へとスナップして補正し、自然な演技の流れを取り戻します。

根底にある仕組みも極めて合理的です。同じ人物が全く同じ動きをする別スタイルの対照動画を現実で撮影するのは不可能なため、従来のモデルは顔のランドマークなどの粗い情報に頼り、表情が不自然になりがちでした。

開発チームは「顔の維持」と「シーンの生成」を完全に分離。元動画の顔部分だけを抽出し、照明を通常光に落としてから元の映画風ライティングへと復元させる学習を行いました。この過程で隠された背景や身体もゼロから再構成させるため、1本の通常動画から完全な学習ペアを自己生成することに成功しています。

720pの上限と約80GBというハードル

現在の出力解像度は最大720pにとどまります。プリビズやコンセプト検討、短尺動画の検証には十分ですが、そのまま劇場公開クオリティに持ち込むには解像度不足です。

また、ローカル運用のハードルも低くありません。メインモデルのファイルサイズは約80GBに達するため、一般的なノートPCやミドルクラスのGPUでは動作せず、最上位クラスのGPUやワークステーション環境が必須となります。

プロジェクトのGitHubリポジトリには、ダウンロード方法やローカル環境での実行手順が詳しくまとめられています。

なぜ重要か

映像制作の現場やVFXアーティストにとって、ID-V2Vは「AI動画生成を運任せのガチャから実用的な編集パイプラインへと引き上げる」大きな一歩です。役者の繊細な演技やリップシンクを一切損なわずにシーンの照明やトーンだけを作り直せるため、高コストな再撮影や気の遠くなるような合成作業を大幅に減らせる可能性があります。

一方で、約80GBという巨大なモデル容量と720pという制約から、現時点では一部のプロやハイエンド環境を持つ開発者向けの実証ツールという位置づけです。今後オープンソースコミュニティによって軽量化や量子化が進み、1080p以上の解像度に対応して初めて、ポストプロダクションの現場を根本から変えるツールになると見ています。