谷歌 DeepMind 发布 D4RT：统一 4D 重建与追踪，速度快达 300 倍

如果几年前你找一位计算机视觉工程师，想把一段手机视频里的所有东西——不管是跑动的小狗还是风里摇晃的花朵——全在 3D 空间里还原出来，还要随时算清它们下一秒在哪，他大概会递给你一根烟，劝你先去买几块顶级显卡。

因为在过去，这得靠四五个模型拼成流水线：先算光流，再估深度，再推相机位姿，最后还得跑上一整夜的优化，祈祷画面别崩成重影怪物。

谷歌 DeepMind 发布了新模型 D4RT（Dynamic 4D Reconstruction and Tracking），试图彻底终结这种混乱。

它不再用流水线死磕，而是把整个任务做成了一个基于 Transformer 的统一架构：直接从普通 2D 视频输入，同时理解 3D 空间与时间维度，速度比现有的顶级方案快出最高 300 倍。

把 4D 重建做成「搜索引擎」

传统方法处理动态视频最怕遇到「动个不停」的场景。一只天鹅划过水面，或者花瓣在风中绽放，传统算法往往会因为假设世界静止而留下大片重叠的鬼影。

D4RT 的做法很像一个大容量的记忆搜索系统。它的编码器拥有 10 亿参数，先把整段视频一次性吞下去，压缩成一个全局时空表征。

这相当于 AI 对整段视频建立了一份「全局记忆」。一旦记忆存好，后续所有的 3D 重建、深度计算和轨迹追踪，全变成了一个个极简的「提问」。

AI 可以直接向解码器发问：在某一行某一列的像素点，在另一个时间点、从另一个相机视角看过去，它的 3D 坐标在哪里？

想做全像素追踪，就连续查询这个点在每一帧的位置；想生成深度图，就查这个点在当前相机下的距离。为了防止模型在相似纹理上认错人，研究人员还在查询时塞给模型一个 9x9 的像素小方块当特写参照。

因为每个提问都是完全独立的，硬件可以成千上万个并发执行，把原本冗长的几何时序推理变成了高度并行的查找计算。

吞吐量飙升 300 倍与背后的代价

谷歌公布的数据相当惊人：处理一分钟的视频，D4RT 只需 5 秒钟。

仔细拆解就会发现，这里说的「300 倍」主要指并发追踪的吞吐量。在 24 帧每秒的标准帧率下，以往顶尖的 SpatialTrackerV2 只能同时追踪 84 条 3D 轨迹，而 D4RT 可以一口气处理 1570 条，和更早的 DELTA 相比差距达到了 314 倍。

这意味着它不用再在画面里做选择题，只盯着主角看；背景里掉落的落叶、走动的路人，都能同时被跟踪。哪怕某个点中途被遮挡或短暂出画，模型也能靠上下文补齐完整的运动轨迹。

不过，这种速度主要发生在推理阶段。它的训练代价非常高昂：基于 ViT-g 架构，需要在 64 颗 TPU 芯片上全力训练两天。

这显然不是个人开发者能在本地复现的轻巧小品，而是典型的工业级重武器。

为什么重要

我们认为，D4RT 踩中了一个极其关键的节点：具身智能和可穿戴设备正在急迫地寻找自己的「眼睛」。

对于机器人来说，在静态房间里建图早就不新鲜了，但当房间里有一只到处乱窜的猫、或者奔跑的小孩时，系统往往瞬间失效。D4RT 提供的密集、动态 4D 感知，正是机器人做运动预判和安全避障急需的底层拼图。

对普通用户而言，这项技术如果走向移动端，最直观的改变是视频编辑。你拍下一段宠物跑动的短视频，回放时可以像在电影里一样随意拖动时间轴、旋转视角，甚至把背景杂物完美抠除。

从架构设计上看，DeepMind 这一步走得很聪明。它跳出了拼凑光流和多头解码器的老路子，用统一的查询接口化繁为简，彻底吃满了现代硬件的并行红利。

但它的隐患也很明确：10 亿参数的庞大编码器目前依然依赖云端和顶级芯片。要在 AR 眼镜或低功耗边缘端跑出真正的超低延迟，它还需要经历严苛的蒸馏与轻量化改造。