コマ落ち動画から滑らかな4D人体アニメを再構成する「Retime GS」

スマホで撮った人物動画を自由視点の3Dアニメーションに変換しようとするとき、最大の障壁になるのがコマ落ちやカクつきです。フレームが少し欠落するだけで、従来のAIは不自然に痙攣したり、激しいゴーストを発生させたりしていました。

3月14日に公開されたAIプロジェクト「Retime GS」は、この課題を解決するアプローチを示しました。一般的な2D動画フレームを入力するだけで、あらゆる角度から鑑賞できる高品質な全身4Dアニメーションを再構成できます。

欠損を埋める「連続時間」表現

従来のdeformやgaussian flow、stgs、2D liftといった動的生成手法は、途中のフレームが抜けるとアーティファクトが頻発し、滑らかさが損なわれる難点がありました。

Retime GSは「連続時間の3D表現」を構築することでこの問題を回避しています。特定の瞬間だけでなく、対象が時間経過とともにどう動くかをモデルに把握させ、動作追跡やオプティカルフロー、改良型4D Gaussian Splattingを組み合わせて失われたモーションを綺麗に補間します。

なぜ重要か

高価なマルチカメラスタジオを用意させるのではなく、品質の粗い単眼動画に技術側が歩み寄った点は実用的です。

ゲーム開発者や3Dクリエイターにとって、低フレームレートの動画から手軽に動的3Dアセットを起こせる道が開ける意味は小さくありません。静的なシーンから人体などの複雑な動的変形へと、Gaussian Splattingの応用範囲が一段広がったといえます。