NVIDIA 推出自由视角模型 QUEEN：任意角度看视频，还能流式传输

看球赛或者演唱会转播时，很多人都想过要是能自己伸手拉个视角就好了。以往想把多机位视频拼成可以随便转着看的 3D 场景，要么需要服务器算半天，要么压缩得满地马赛克。

NVIDIA 研究院和马里兰大学在 NeurIPS 2024 上展示了一个叫 QUEEN 的 AI 模型，试图把这个流程彻底打通。

5 秒训练跑出 350 帧

QUEEN 是一个针对动态场景的 3D 重建模型，它的目标是支持自由视角视频的实时流媒体传输。

传统的自由视角视频通常依靠分布在不同角度的多个摄像头拍摄，比如影棚里的机位阵列、仓库的监控网，或者办公室的多视角视频会议设备。

过去这类方案有个老大难问题：要么内存消耗巨大、无法做到实时串流，要么为了减小文件体积把画质压得很烂。

根据研究团队在 NVIDIA Tensor Core GPU 上的评测，只要给它同一场景不同角度的 2D 视频片段，QUEEN 通常只需要不到 5 秒的训练时间，就能以每秒约 350 帧的速度渲染出自由视角视频。

这个速度和压缩表现，意味着它能把高质量的 3D 视觉流，直接从服务器实时传输到用户的终端设备上。

聪明地偷懒：只算动起来的地方

QUEEN 之所以能跑这么快，核心逻辑说白了就是学会了工程上的偷懒。

在大多数现实场景里，背景的大部分元素其实是不动的。一帧一帧切开看，大部分像素前后根本没变化。

QUEEN 会自动追踪并直接复用这些静态区域的渲染结果，把有限的算力全集中在那些随时间发生变化的内容上。

即便画面里有极难处理的动态细节，比如四处飞溅的火花、跳动的火焰，或者毛茸茸的小动物，它也能在保持高画质的同时顺畅传输。

NVIDIA 表示这项技术可以用在很多地方。比如体育直播里的瞬间多角度回放、戴上 VR 头显身临其境看演唱会。

又比如在远程视频会议中演示做饭或折纸，观众可以自己挑选最舒服的观察角度；在工厂或仓库里，远程遥操作机器人的工人也能借此更准确地判断空间景深。

官方透露，QUEEN 的相关代码很快会在项目页面上开源。

为什么重要

我们认为，这项研究最聪明的地方，是没有去死磕更庞大的神经网络来硬猜全场，而是老老实实做了一套极其克制的工程优化：把不变的背景复用掉，省下算力去死磕火焰和毛发这些最容易穿帮的动态死角。

对普通观众和 XR 创作者来说，自由视角视频一直属于看起来美好、实际做起来贵死人的技术。如果多机位输入后只要 5 秒训练就能跑出 350 帧，意味着赛事直播和沉浸式互动内容的制作成本会被大幅拉低，普通人离在屏幕或头显里自由拖拽机位看球赛的日子又近了一步。

对空间计算行业而言，现在的沉浸视频大多还是固定机位拍摄的预录内容。QUEEN 证明了在服务器端做极速轻量化重建、再把画面流式推到移动端的可行性，这很可能会成为下一代 3D 视频会议和机器人遥控的标准基础设施。

不过看起来它目前的短板也很明显：这套流程高度依赖多视角相机的物理架设，同时重度绑定 Tensor Core 算力。在真实的家用弱网环境和移动端接收端上，多路推流的实际延时和画质衰减能控制到什么程度，还得等代码开源后看实测数据。