跳到正文
IFAI

AIGC

UniGeo 带来相机可控图像编辑:输入精确角度,自由平移俯仰视角

首次发布 传播指数 41

研究团队提出相机可控图像编辑框架 UniGeo。它能将单张图片转为 3D 几何表征,支持用户通过输入精确角度来平移或俯仰镜头,重新渲染新视角。这解决了普通图像生成工具难以精准运镜且容易变形的问题,相关模型即将推出。

UniGeo 带来相机可控图像编辑:输入精确角度,自由平移俯仰视角
图:arxiv.org

如果你试过让生成式 AI「把视角往旁边挪一点」,大概率会遇到灾难现场。

在很多主流图像工具里,输入「相机向右偏 30 度」,模型往往不是在移动机位,而是在凭空重新画一张图。原图里的杯子可能变了形状,背景里的建筑物可能直接多出一扇窗户,完全无法保持空间结构一致。

研究团队提出了一个名为 UniGeo 的相机可控图像编辑框架,专门解决这个顽疾。它能把一张普通的 2D 照片解析成 3D 空间,让你像在 3D 建模软件里调机位一样,用具体数字去运镜。

像调三脚架一样编辑图片

UniGeo 的核心能力是精确定量控制。

它不再依赖模糊的文字描述,而是允许你输入明确的位移和角度参数。你可以让相机在三维空间中自由平移、俯仰或旋转,镜头甚至不需要固定在物体中心。

更实用的是,这些运镜指令可以无缝串联。比如你可以让它「先向左平移 16 度,再向上倾斜 7 度」,模型会沿着这组相机轨迹,精准重新渲染出对应的目标视角。

相比 Nano Banana 或 GPT Image 2 等普通图像编辑工具,这种基于精确角度的操控感完全是另一个维度的体验。

用视频模型解决画面崩塌

为什么以前的 AI 工具做不好相机视角切换?

论文指出,以往的方法大多依赖图像扩散模型,视角转换是在离散的切片之间生硬跳跃。而且它们的几何引导非常零散,一旦机位连续移动,画面很容易出现几何漂移,结构直接崩坏。

UniGeo 换了一条路线,它选择借助视频生成模型的连续视点先验,并在三个层面补齐了统一的几何引导。

在表示层,它把输入图片重建成 3D 点云几何表征,并通过解耦机制注入参考信息;在架构层,它设计了专门的几何锚点注意力机制,用来对齐不同视角下的特征;在损失函数层,它引入了轨迹终点的几何监督,强行卡死目标视角的结构保真度。

在多个公开基准测试里,无论是小幅度微调还是大幅度运镜,UniGeo 的画面质量和空间一致性都明显拉开了与现有方案的差距。目前团队已经在项目主页标明模型即将推出,后续很可能会开放开源权重。

为什么重要

对于创作者、电商卖家以及 3D 资产开发者来说,这套工具直击痛点。拍了一张完美的商品图或场景概念图,但客户要求「换个俯视视角」或「转到侧面看看」,以往可能得进三维软件重搭模型,或者重新抽卡碰运气;UniGeo 把它变成了几行数字运镜指令。

从技术演进上看,它代表了图像生成向可控 3D 空间演进的关键一步。单纯拼画质和写实度的时代正在过去,未来的比拼在于谁能让用户获得确定性的控制权。UniGeo 聪明的地方在于没有硬造一套复杂的全新生成器,而是把视频模型的平滑连续性与 3D 点云的几何硬约束拧在了一起。

不过在我们看来,它也存在现实考量。点云重建加上视频模型的推理链路,对计算资源的要求注定不低;同时在面对被严重遮挡的死角时,大角度运镜能否补全出令人信服的细节,还得等模型真正开放下载后在实际复杂场景中检验。

来源 (1)

  1. [1]

每日 AI 内容精选