跳到正文
IFAI

AI科研

HiP3R 提出分層位姿圖:不用重訓模型,長影片也能穩拼 3D 大場景

首次發布 傳播指數 36

研究團隊提出 3D 重建方案 HiP3R。它採用分層位姿圖結構,先做影片片段級整體對齊,再逐幀最佳化統一相機位姿,解決長影片拼接時的機位漂移問題。最值得關注的是,它無需重訓基礎大模型,直接插入現有演算法就能穩定重建連貫大場景。

HiP3R 提出分層位姿圖:不用重訓模型,長影片也能穩拼 3D 大場景
圖:arxiv.org

拿長影片重建 3D 場景時,最頭疼的就是畫面拼接處的機位漂移。目前的重建模型大多切成小片段來算,一旦兩段影片有重疊,同一個畫面往往會被算出好幾種不同的相機姿態,拼在一起就會累積出明顯的幾何錯位。

研究團隊提出了 3D 重建方案 HiP3R,試圖用一套分層結構把鏡頭軌跡一次性理順。

先對齊大片段,再精修每一幀

HiP3R 的核心思路是把對齊分成兩層走。

它不改動原有的基礎重建模型,直接將重疊影片片段餵給凍結的後端。第一步在片段級別做尺度、旋轉和位置的整體對齊,利用區域性重疊和迴環檢測,將約束從小時間跨度逐步擴充套件到長跨度。

大框架固定後,第二步再結合片段內的運動約束,逐幀最佳化並統一重疊畫面的相機位姿,確保每一幀只對應一個絕對機位,從而徹底消除了分段拼接帶來的累積漂移。

為什麼重要

我們認為 HiP3R 最聰明的地方,在於它沒有嘗試重新訓練一個龐大的長影片端到端模型,而是做成了一個純粹的即插即用外掛。

對於做 3D 掃描、具身導航或者數字孿生的開發者來說,重新訓練底座模型的門檻太高了。HiP3R 可以直接插進現有的重建演算法流程裡,低成本把原本只能跑短切片的工具擴充套件到長軌跡大場景。

不過,這種後處理方案的效果上限,依然完全取決於底座模型的單幀幾何質量。如果切片內部本來就崩了,外部位姿對齊得再準,也沒法憑空變出不存在的細節。

來源 (1)

  1. [1]
    kkakkkka.github.io(在新分頁開啟)原文kkakkkka.github.io

每日 AI 內容精選