跳到正文
IFAI

开源项目

CubeComposer:把普通视频扩展成 360 度全景,还支持 4K

首次发布 传播指数 59

研究员开源全景视频模型 CubeComposer,能把单台相机拍摄的普通视频转化为 360 度全景视频,并支持 4K 增强。它通过扩散模型拆解球体的六个面,用稀疏注意力机制补全镜头背后的画面,整体质量超过 Argus。不过目前背后的脑补画面仍有些许畸变。

CubeComposer 能把单台普通相机拍出的平视视频直接扩成 360 度全景视频,还支持 4K 增强。你只要给它一段单一视角的素材,它就能把镜头背后原本拍不到的整个场景补齐。

它是怎么把死角补出来的

CubeComposer 基于扩散模型,把 360 度球体空间拆解成立方体的六个面。为了让各个角度衔接顺畅,它用稀疏注意力机制搭了一个上下文池,一边参考前后帧,一边对照相邻的立方体面,保证过渡自然。

这样一来,即使是完全靠算法脑补出来的背后画面,也能跟原有镜头平滑接上。尽管目前补出来的区域还能看出少许畸变,但整体画质和稳定性已经明显压过了 Argus 等同类工具。项目主页在 lg-li.github.io/project/cubec。

为什么重要

对于做 VR、沉浸式内容或者空间视频的创作者来说,这相当于能把手头现有的单视角素材低成本盘活成全景资产。它和 Argus 相比生成质量更好,不过生成区域的边缘畸变还没完全解决,更适合拿来做背景填充或概念原型测试。

来源 (2)

  1. [1]
    lg-li.github.io(在新标签页打开)原文lg-li.github.io
  2. [2]

每日 AI 内容精选