PermaVid：外見と3D構造を分離記憶し、AI動画編集の「忘れ癖」を解消

生成AIで動画を編集したことがある人なら、誰しも「モデルの忘れ癖」に悩まされた経験があるはずです。登場人物の服をレザージャケットに変えたはずが、数秒後には元の服に戻っていたり、顔の輪郭ごと崩れてしまったりします。

既存の動画生成モデルは、時間経過に伴う編集の一貫性を保つのが極めて苦手です。見た目や構図を変更すると、蓄積されていた前後の文脈データが古くなり、モデル自身が過去の編集内容を見失ってしまうのが原因でした。

6月15日に論文とコードが公開された動画編集フレームワーク「PermaVid」は、この課題を根本から解決しようとしています。アプローチは明快で、映像の「見た目」と「骨格」を別々に記憶させる仕組みを採用しました。

見た目と3D深度構造を別々に保持する2系統メモリ

PermaVidの中核にあるのは、空間コンテキストを分離して扱うマルチモーダル・コンテキストメモリです。映像の情報を1まとめにせず、2つの独立したメモリバンクに振り分けて管理します。

1つ目は「RGBコンテキストメモリ」です。色や質感、テクスチャといった外見的なセマンティクスを記録し、視点の変化を追跡します。

2つ目は「深度コンテキストメモリ」です。色情報には一切関与せず、シーンの純粋な3D幾何構造と奥行きだけを厳密に保持します。

これに編集検知型のメモリ更新・検索機構を組み合わせることで、破綻のない編集が可能になります。

例えば、実写の街並みをアニメ調に変えるようなグローバル編集では、深度メモリが建物の位置関係や透視投影をガッチリ固定し、RGBメモリだけが新しいビジュアルスタイルを反映します。カメラが動いても街並みがぐにゃりと歪むことはありません。

逆に、机の上のコップを別の物に置き換えるような局所編集では、対象物以外の3D構造や周囲のライティングを損なわずに、該当箇所の見た目だけを更新し続けることができます。

PermaVidはすでにコードを公開しており、ローカル環境のマシンにダウンロードして実行するための手順も提供されています。

なぜ重要か

動画生成AIが「面白いクリップを作るおもちゃ」から「本格的な映像制作ツール」に進化できるかどうかは、狙い通りの編集を安定して加えられるかにかかっています。

映像クリエイターにとって、編集結果が持続するシステムは待ち望まれていた機能です。これまでは一部を修正するたびに生成を最初からやり直すか、別ソフトでフレームごとにマスキング作業を行う必要がありました。AIが過去の修正を記憶し続けてくれるなら、試行錯誤のコストは劇的に下がります。

技術的な観点からも、PermaVidの設計は非常に合理的だと感じます。単にモデルのパラメータを巨大化させて物理法則を力任せに学習させるのではなく、3Dの幾何学的デプスを明示的に分離してモデルを誘導するアプローチをとっています。構造と外見を切り離したことで、片方の変更がもう片方を壊すリスクを大幅に減らしました。

もちろん、ローカルで深度推定と2系統メモリの検索を回すための追加計算コストや処理負荷など、実運用に向けたハードルは残っています。それでも、動画AIの「物忘れ」を克服する具体的な道筋を示した点において、実用化に向けた大きな前進と言えます。