ProxyPose 现已开源：在 2D 视频里点一下，就能追踪物体 6-DoF 三维位姿

想要追踪视频里的物体在三维空间里怎么移动、怎么翻转，传统计算机视觉通常需要多台摄像机协同，或者依赖精细的 3D 模型匹配。一旦遇上透明玻璃杯、光滑反光金属，或者物体被遮挡了大半，算法往往就会彻底跟丢。

多伦多大学计算成像组公布了开源系统 ProxyPose，相关论文入选了 NeurIPS 2026。这个项目的思路非常清奇：在一段普通的 2D 视频里，用户只要随手点击一个像素点，系统就能完整解算出该目标物体的 6-DoF 三维位姿轨迹。

把难缠的目标换成彩色立方体

传统方法总想着直接死磕物体本身的特征，而 ProxyPose 选择了绕道走。它利用了视频到视频的转换机制，把原本复杂的追踪任务变成了一场视觉魔术。

说白了，当你点击画面中的某个点后，系统会调用底层的视频生成模型，在那个位置凭空生成一个紧密贴合局部运动的彩色立方体，也就是所谓的代理视频。这个立方体有着标准明确的几何结构和色块分布，它在三维空间中怎么转，原始物体就怎么转。

接下来的事情就变得格外简单了。算法不再需要去理解那些复杂的真实纹理，而是直接观察这个生成的彩色立方体，用经典的透视 n 点几何算法解算出高精度的 6-DoF 位姿。

这一招巧妙避开了透明反光和严重遮挡的坑。在 HO3D、YCBInEOAT 等刚性物体位姿估计基准测试中，ProxyPose 哪怕只用单个查询点，也能达到最前沿的水准。它甚至能延伸到静态点追踪，在传统三维重建工具 COLMAP 因缺乏纹理而报错的场景下稳定接班；就算面对非刚性的人脸表面，或者直接扔给事件相机、单光子雪崩二极管阵列拍摄的新型传感器数据，它不用额外训练就能直接跑。

依赖大模型的得与失

根据公开资料，ProxyPose 的底层基于开源视频模型 Wan 2.1 打造。完整的模型体积约为 30GB，不过开发团队对权重做了量化处理，消费级显卡也能跑得动，而真正负责生成代理立方体的 LoRA 文件只有 600MB。

但走生成式模型的路子，也必然会继承生成式模型的短板。

论文作者明确指出了系统的局限：在快速运动场景中，比如弹珠急速飞驰，视频模型的变分自编码器会产生拖影模糊，直接破坏立方体轮廓的提取；面对气球这种无纹理且反光强烈的曲面，位姿依旧会出现漂移；对于流体这类根本无法定义刚性位置的场景，它更是不可能生效。

为什么重要

我们认为，ProxyPose 最聪明的地方，在于它没有把视频生成大模型当成单纯的造片工具，而是把它当成了计算机视觉底层感知的翻译器。

生成模型在海量真实视频训练中学会的物理先验和运动规律，第一次被这么优雅地提取成几何可解的代数代理。对于机器人抓取透明工件、具身智能空间理解，以及影视 AR 后期合成来说，这提供了一条极具启发性的技术路线。

它向开发者证明了一件事：想要解决 3D 感知难题，不一定非要去硬造复杂的专用传感器或者重构庞大的几何神经网络。利用开源轻量 LoRA 去借力成熟的视频大模型，很可能就是性价比极高的一条捷径。虽然现阶段它还受限于视频生成速度，难以做到毫秒级工业实时，但这种将生成转为测量的思路，很可能会逼着下一代 3D 追踪算法重新洗牌。