崩れた3Dレンダリングを修復、動画AIを活用する「FixAnything」公開

FixAnythingは、崩れてしまった3Dシーンのレンダリング動画を修復するためのオープンソースツールだ。3D Gaussian Splatting（3DGS）やNeRF、メッシュ、疎な点群などで生成したシーンにおいて、未撮影アングルへカメラを動かした際に生じる穴や浮遊ノイズ、ボケを自動で補正し、滑らかで整った映像に仕上げてくれる。

実世界のスキャンデータを扱う人にとって、カメラパスの崩れは身近な悩みだ。撮影視点の周辺では美しく見えても、カメラが少し死角へ回り込むと途端に幾何構造が破綻してしまう。FixAnythingは、破綻した点群自体を直接いじるのではなく、動画生成モデルを活用した動画変換処理としてこの問題を解決する。

崩れたレンダリングを制御信号に変える仕組み

どれほどノイズだらけのレンダリングであっても、カメラの移動軌跡とおおまかな空間配置の情報は残されている。FixAnythingはこの残存情報を、動画生成AIを動かすためのガイド信号として利用する。

ベースモデルにはオープンソースのWan2.1-I2V-14Bを採用した。わずか20組ほどのペア動画データでLoRA微調整を行うだけで、モデルは粗い点群や崩れたメッシュを忠実なカメラ制御線として認識できるようになる。

生成AI特有のフレームごとの形状ブレを防ぐため、Flow-DPOと呼ばれる強化学習を取り入れている。出力映像からCOLMAPでカメラ姿勢を逆算し、幾何学的な整合性が高い出力に報酬を与えることで、3D空間として破綻しない描画を実現した。また、元の撮影フレームをアンカーとして固定することで、実在するディテールを残したまま欠落部分だけを補完する。

動作環境とローカル運用のハードル

コードとモデル重みはGitHubおよびHugging FaceにてApache 2.0ライセンスで公開されている。モデルはHugging FaceまたはModelScopeからダウンロード可能だ。

標準では、カメラパスに沿った61フレーム（解像度832×480）の動画を入力として受け付ける。長い軌跡の動画も重複チャンク分割によって処理可能だ。写真が数枚しかない場合でも、同梱のMapAnythingスクリプトと連携することで、自動で簡易3D空間を構築してから補正動画を書き出すことができる。

実行環境はPyTorch 2.6およびCUDA 12で、FlashAttention-2の導入が推奨されている。注意点として、ベースとなるWan2.1はモデル容量が約60GBに達する14B規模のモデルであるため、ローカル動作には相応の大容量VRAMを搭載したGPUが必須となる。

なぜ重要か

フォトグラメトリや3DGSによる空間ウォークスルー映像を制作するクリエイターにとって、非常に実用的なツールと言える。これまでは死角のアーティファクトを手作業で消去したり、カメラアングルを不自然に制限したりする必要があったが、その手間を大幅に削減できる。

動画拡散モデルの表現力を3D空間の補正に流用するというアプローチは極めて合理的だ。直接3Dデータを修正するのではなく、最終成果物である動画側で幾何的一貫性を担保するという割り切りが、軽快な適応と高い画質を両立させている。出力が動画形式にとどまる制約はあるものの、映像納品を目的とする現場にとっては即戦力のレスキューツールとなるはずだ。