跳到正文
IFAI

AI科研

HiP3R 提出分层位姿图:不用重训模型,长视频也能稳拼 3D 大场景

首次发布 传播指数 36

研究团队提出 3D 重建方案 HiP3R。它采用分层位姿图结构,先做视频片段级整体对齐,再逐帧优化统一相机位姿,解决长视频拼接时的机位漂移问题。最值得关注的是,它无需重训基础大模型,直接插入现有算法就能稳定重建连贯大场景。

HiP3R 提出分层位姿图:不用重训模型,长视频也能稳拼 3D 大场景
图:arxiv.org

拿长视频重建 3D 场景时,最头疼的就是画面拼接处的机位漂移。目前的重建模型大多切成小片段来算,一旦两段视频有重叠,同一个画面往往会被算出好几种不同的相机姿态,拼在一起就会累积出明显的几何错位。

研究团队提出了 3D 重建方案 HiP3R,试图用一套分层结构把镜头轨迹一次性理顺。

先对齐大片段,再精修每一帧

HiP3R 的核心思路是把对齐分成两层走。

它不改动原有的基础重建模型,直接将重叠视频片段喂给冻结的后端。第一步在片段级别做尺度、旋转和位置的整体对齐,利用局部重叠和回环检测,将约束从小时间跨度逐步扩展到长跨度。

大框架固定后,第二步再结合片段内的运动约束,逐帧优化并统一重叠画面的相机位姿,确保每一帧只对应一个绝对机位,从而彻底消除了分段拼接带来的累积漂移。

为什么重要

我们认为 HiP3R 最聪明的地方,在于它没有尝试重新训练一个庞大的长视频端到端模型,而是做成了一个纯粹的即插即用外挂。

对于做 3D 扫描、具身导航或者数字孪生的开发者来说,重新训练底座模型的门槛太高了。HiP3R 可以直接插进现有的重建算法流程里,低成本把原本只能跑短切片的工具扩展到长轨迹大场景。

不过,这种后处理方案的效果上限,依然完全取决于底座模型的单帧几何质量。如果切片内部本来就崩了,外部位姿对齐得再准,也没法凭空变出不存在的细节。

来源 (1)

  1. [1]
    kkakkkka.github.io(在新标签页打开)原文kkakkkka.github.io

每日 AI 内容精选