谷歌 DeepMind 釋出 D4RT：統一 4D 重建與追蹤，速度快達 300 倍

如果幾年前你找一位計算機視覺工程師，想把一段手機影片裡的所有東西——不管是跑動的小狗還是風裡搖晃的花朵——全在 3D 空間裡還原出來，還要隨時算清它們下一秒在哪，他大概會遞給你一根菸，勸你先去買幾塊頂級顯示卡。

因為在過去，這得靠四五個模型拼成流水線：先算光流，再估深度，再推相機位姿，最後還得跑上一整夜的最佳化，祈禱畫面別崩成重影怪物。

谷歌 DeepMind 釋出了新模型 D4RT（Dynamic 4D Reconstruction and Tracking），試圖徹底終結這種混亂。

它不再用流水線死磕，而是把整個任務做成了一個基於 Transformer 的統一架構：直接從普通 2D 影片輸入，同時理解 3D 空間與時間維度，速度比現有的頂級方案快出最高 300 倍。

把 4D 重建做成「搜尋引擎」

傳統方法處理動態影片最怕遇到「動個不停」的場景。一隻天鵝劃過水面，或者花瓣在風中綻放，傳統演算法往往會因為假設世界靜止而留下大片重疊的鬼影。

D4RT 的做法很像一個大容量的記憶搜尋系統。它的編碼器擁有 10 億引數，先把整段影片一次性吞下去，壓縮成一個全域性時空表徵。

這相當於 AI 對整段影片建立了一份「全域性記憶」。一旦記憶存好，後續所有的 3D 重建、深度計算和軌跡追蹤，全變成了一個個極簡的「提問」。

AI 可以直接向解碼器發問：在某一行某一列的畫素點，在另一個時間點、從另一個相機視角看過去，它的 3D 座標在哪裡？

想做全畫素追蹤，就連續查詢這個點在每一幀的位置；想生成深度圖，就查這個點在當前相機下的距離。為了防止模型在相似紋理上認錯人，研究人員還在查詢時塞給模型一個 9x9 的畫素小方塊當特寫參照。

因為每個提問都是完全獨立的，硬體可以成千上萬個併發執行，把原本冗長的幾何時序推理變成了高度並行的查詢計算。

吞吐量飆升 300 倍與背後的代價

谷歌公佈的資料相當驚人：處理一分鐘的影片，D4RT 只需 5 秒鐘。

仔細拆解就會發現，這裡說的「300 倍」主要指併發追蹤的吞吐量。在 24 幀每秒的標準幀率下，以往頂尖的 SpatialTrackerV2 只能同時追蹤 84 條 3D 軌跡，而 D4RT 可以一口氣處理 1570 條，和更早的 DELTA 相比差距達到了 314 倍。

這意味著它不用再在畫面裡做選擇題，只盯著主角看；背景裡掉落的落葉、走動的路人，都能同時被跟蹤。哪怕某個點中途被遮擋或短暫出畫，模型也能靠上下文補齊完整的運動軌跡。

不過，這種速度主要發生在推理階段。它的訓練代價非常高昂：基於 ViT-g 架構，需要在 64 顆 TPU 晶片上全力訓練兩天。

這顯然不是個人開發者能在本地復現的輕巧小品，而是典型的工業級重武器。

為什麼重要

我們認為，D4RT 踩中了一個極其關鍵的節點：具身智慧和可穿戴裝置正在急迫地尋找自己的「眼睛」。

對於機器人來說，在靜態房間裡建圖早就不新鮮了，但當房間裡有一隻到處亂竄的貓、或者奔跑的小孩時，系統往往瞬間失效。D4RT 提供的密集、動態 4D 感知，正是機器人做運動預判和安全避障急需的底層拼圖。

對普通使用者而言，這項技術如果走向移動端，最直觀的改變是影片編輯。你拍下一段寵物跑動的短影片，回放時可以像在電影裡一樣隨意拖動時間軸、旋轉視角，甚至把背景雜物完美摳除。

從架構設計上看，DeepMind 這一步走得很聰明。它跳出了拼湊光流和多頭解碼器的老路子，用統一的查詢介面化繁為簡，徹底吃滿了現代硬體的並行紅利。

但它的隱患也很明確：10 億引數的龐大編碼器目前依然依賴雲端和頂級晶片。要在 AR 眼鏡或低功耗邊緣端跑出真正的超低延遲，它還需要經歷嚴苛的蒸餾與輕量化改造。