Pantheon360 亮相：靠 3D 缓存生成连贯的 360 度全景视频

如果你戴着 VR 头显看过 AI 生成的场景，大概率遇到过这种尴尬：头稍微往旁边转一下，原本笔直的门框突然扭曲了，上一秒还很清晰的茶几，下一秒就漂到了半空中。

普通 AI 视频模型就像一只用吸管看世界的眼睛，视野太窄，镜头一转就容易忘记刚才看到了什么。5 月 25 日，研究团队在 arXiv 上公布了一项新研究 Pantheon360，打算直接换一种解法：不让 AI 挤在扁平屏幕里猜死角，而是把整段视频生成直接撑成一个 360 度的全景球体。

把看世界的视野撑成一个球

传统的透视视频生成器在构建完整的数字孪生时一直很吃力。核心障碍在于视场角太小，一旦要做复杂的大场景，就必须设计极长的镜头运动或者多视角机位，而视角一多，画面与画面之间的不一致和时间漂移就会被成倍放大。

Pantheon360 换了个思路：既然数字孪生和沉浸式场景最终都需要全方位的环视，为什么不直接从全景视角切入？

全景覆盖本身就能提供强有力的全局上下文，直接把机位轨迹的规划难度压了下来。研究团队让 Pantheon360 从稀疏的 360 度输入切入，即使手头的全景素材并不密集，也能合成出高质量、可控制的 360 度视频。

让扩散模型专心画画，几何交给骨架

光有全景还不够，如果只靠扩散模型死记硬背空间结构，镜头穿行时依然容易穿帮。Pantheon360 真正聪明的做法，是引入了一个叫「3D 缓存」（3D Cache）的显式结构。

简单来说，系统先从输入的稀疏全景数据里重构出一个粗糙但精准的三维几何骨架。无论用户接下来怎么定义相机的移动路线，这个 3D 缓存都会像脚手架一样立在底层，锁死物体在三维空间里的相对位置和透视关系。

有了这层脚手架，负责生成画面的扩散模型就不用一边算空间几何一边画细节了。它只需要把精力集中在逼真的纹理细化上，光影、反光和细节的打磨交给模型，而全局的几何一致性全由 3D 缓存说了算。

测试结果显示，这种分工明确的架构让 Pantheon360 在视觉保真度和几何一致性上都拿出了相当亮眼的表现，镜头转动时几乎看不到传统模型的飘移与畸变。

为什么重要

我们认为 Pantheon360 这篇研究最值得看的，不是单纯刷榜的画质指标，而是它切入空间视频的底层逻辑。

过去大模型圈做三维场景，要么死磕 NeRF 和 3D 高斯泼溅，建模虽然精准但生成细节全靠死算，缺乏扩散模型那种天马行空的真实质感；要么直接拿 Sora 类的透视视频模型硬上，虽然单张看着惊艳，但稍微动动视角空间就塌了。Pantheon360 这种「显式几何脚手架 + 扩散纹理细化」的解法，看起来是在两派之间找到了一个很聪明的平衡点。

对普通创作者和 VR 开发者来说，这意味着未来制作沉浸式漫游、VR 短片或空间互动的门槛会进一步拉低。你可能只需要几张全景照片，就能让 AI 沿着你指定的轨迹，生成一段不会飘忽穿模的高清环视视频。

当然，目前这项成果还停留在学术论文阶段，对于动态复杂的交互场景、超大尺度的户外漫游，3D 缓存本身的重构成本和显存开销大概率还有不小的优化空间。但它至少给业内的数字孪生和全景生成指明了一条路：先用几何骨架把空间定住，AI 视频才可能真正从屏幕里跳出来。