Google DeepMindがD4RTを発表：4D空間の再構築と追跡を最大300倍高速化

数年前、スマートフォンで撮った動画から動く被写体の3D形状と軌跡をすべて復元しようとすれば、専門家でも頭を抱える作業だった。

オプティカルフロー、深度推定、カメラ姿勢の推定といった別々のモデルをいくつも数珠つなぎにし、一晩かけて最適化計算を回すのが当たり前だったからだ。

Google DeepMindはその複雑な処理を一新する新モデル「D4RT（Dynamic 4D Reconstruction and Tracking）」を発表した。

通常の2D動画を入力するだけで、3次元空間と時間の流れを同時に把握する。従来の最先端技術と比べて、軌跡追跡の処理能力で最大300倍の高速化を果たしたという。

4D復元を「検索」に変える仕組み

従来の3D再構築は、被写体が動いた瞬間に破綻しやすい。水面を泳ぐ白鳥や風に揺れる花を処理すると、空間が二重三重にブレて残像だらけになってしまう。

D4RTのアプローチは明快だ。まず10億パラメータを持つ巨大なTransformerエンコーダが動画全体を読み込み、大域的な時空間表現として記憶する。

動画全体の記憶を固めてしまえば、あとの処理はすべて「問い合わせ」に変わる。

あるフレームの特定ピクセルが、別の時刻においてどのカメラ視点から見てどこにあるかをデコーダに問い合わせるだけで、必要な3D座標が即座に返ってくる。

同じ模様の見分けがつかなくなるのを防ぐため、問い合わせ時に周囲9×9ピクセルの画像を補助情報として渡す工夫も凝らされている。

各ピクセルの計算が完全に独立しているため、GPUやTPUの並列計算性能を限界まで引き出すことができる。これが圧倒的な処理速度の秘密だ。

300倍の高速化と現実的な制約

DeepMindの報告によれば、1分間の動画を約5秒で処理できるという。

最大300倍という数字の実態は、単位時間あたりに同時に追跡できる軌跡の数だ。秒間24フレームの条件下で、従来手法のSpatialTrackerV2が同時に追跡できたのは84本にとどまっていたが、D4RTは1570本を軽々と処理する。

画面内の主役だけでなく、背景を行き交う歩行者や舞い落ちる木の葉まで、全ピクセル規模で同時に追い続けられる計算になる。

ただし、この俊敏さは推論時に限られる。モデルの学習には64基のTPUを丸2日間稼働させる必要があり、個人が手元で手軽にゼロから再現できる規模ではない。

なぜ重要か

D4RTがもたらす最大の恩恵は、ロボットや自動運転といった具身知能（Embodied AI）の空間把握にある。

静止した部屋の地図を作るだけなら今のロボットでも可能だが、走り回る子どもやペットの動きを瞬時に予測しながら安全に動き回るには、リアルタイムな4D理解が欠かせない。

一般ユーザーにとっても、スマートフォンの動画編集が一変する可能性がある。撮影後に動画の視点を自由に回転させたり、背景の通行人を綺麗に消し去ったりする処理が日常的な機能になるかもしれない。

バラバラだった処理系を単一の問い合わせインターフェースに統合したDeepMindの判断は極めて合理的だ。一方で、巨大なエンコーダをどうやってARグラスや小型ロボットの端末内で動くサイズに蒸留・軽量化できるかが、次の実用化へのハードルになるだろう。