ProxyPose 現已開源：在 2D 影片裡點一下，就能追蹤物體 6-DoF 三維位姿

想要追蹤影片裡的物體在三維空間裡怎麼移動、怎麼翻轉，傳統計算機視覺通常需要多臺攝像機協同，或者依賴精細的 3D 模型匹配。一旦遇上透明玻璃杯、光滑反光金屬，或者物體被遮擋了大半，演算法往往就會徹底跟丟。

多倫多大學計算成像組公佈了開源系統 ProxyPose，相關論文入選了 NeurIPS 2026。這個專案的思路非常清奇：在一段普通的 2D 影片裡，使用者只要隨手點選一個畫素點，系統就能完整解算出該目標物體的 6-DoF 三維位姿軌跡。

把難纏的目標換成彩色立方體

傳統方法總想著直接死磕物體本身的特徵，而 ProxyPose 選擇了繞道走。它利用了影片到影片的轉換機制，把原本複雜的追蹤任務變成了一場視覺魔術。

說白了，當你點選畫面中的某個點後，系統會呼叫底層的影片生成模型，在那個位置憑空生成一個緊密貼合局部運動的彩色立方體，也就是所謂的代理影片。這個立方體有著標準明確的幾何結構和色塊分佈，它在三維空間中怎麼轉，原始物體就怎麼轉。

接下來的事情就變得格外簡單了。演算法不再需要去理解那些複雜的真實紋理，而是直接觀察這個生成的彩色立方體，用經典的透視 n 點幾何演算法解算出高精度的 6-DoF 位姿。

這一招巧妙避開了透明反光和嚴重遮擋的坑。在 HO3D、YCBInEOAT 等剛性物體位姿估計基準測試中，ProxyPose 哪怕只用單個查詢點，也能達到最前沿的水準。它甚至能延伸到靜態點追蹤，在傳統三維重建工具 COLMAP 因缺乏紋理而報錯的場景下穩定接班；就算面對非剛性的人臉表面，或者直接扔給事件相機、單光子雪崩二極體陣列拍攝的新型感測器資料，它不用額外訓練就能直接跑。

依賴大模型的得與失

根據公開資料，ProxyPose 的底層基於開源影片模型 Wan 2.1 打造。完整的模型體積約為 30GB，不過開發團隊對權重做了量化處理，消費級顯示卡也能跑得動，而真正負責生成代理立方體的 LoRA 檔案只有 600MB。

但走生成式模型的路子，也必然會繼承生成式模型的短板。

論文作者明確指出了系統的侷限：在快速運動場景中，比如彈珠急速飛馳，影片模型的變分自編碼器會產生拖影模糊，直接破壞立方體輪廓的提取；面對氣球這種無紋理且反光強烈的曲面，位姿依舊會出現漂移；對於流體這類根本無法定義剛性位置的場景，它更是不可能生效。

為什麼重要

我們認為，ProxyPose 最聰明的地方，在於它沒有把影片生成大模型當成單純的造片工具，而是把它當成了計算機視覺底層感知的翻譯器。

生成模型在海量真實影片訓練中學會的物理先驗和運動規律，第一次被這麼優雅地提取成幾何可解的代數代理。對於機器人抓取透明工件、具身智慧空間理解，以及影視 AR 後期合成來說，這提供了一條極具啟發性的技術路線。

它向開發者證明了一件事：想要解決 3D 感知難題，不一定非要去硬造複雜的專用感測器或者重構龐大的幾何神經網路。利用開源輕量 LoRA 去借力成熟的影片大模型，很可能就是價效比極高的一條捷徑。雖然現階段它還受限於影片生成速度，難以做到毫秒級工業即時，但這種將生成轉為測量的思路，很可能會逼著下一代 3D 追蹤演算法重新洗牌。