跳到正文
IFAI

AIGC

Spline 推出 3D 世界模型 Spell:单张图几分钟生成 3D 场景

首次发布 传播指数 39

3D 协作平台 Spline 推出 AI 模型 Spell。它能在几分钟内把单张图片变成完整的 3D 场景,输出支持高斯泼溅或 NeRF 渲染的体素体积。模型注重物理一致性,镜头穿入墙体时会模拟真实碰撞而非画面融变变质。

Spline 推出 3D 世界模型 Spell:单张图几分钟生成 3D 场景
图:blog.spline.design

过去给一张图生成 3D 模型,出来的往往是一个只能转着看的小摆件,背景全靠脑补。3D 设计工具 Spline 最近拿出了一个叫 Spell 的新模型,想要彻底解决这件事。

简单来说,Spell 不是用来捏单个物体的,它是一个「3D 世界模型」。输入一张普通的静态二维图片,几分钟之内,它就能补全出一整个具备完整体积的 3D 场景,涵盖人物、物体、3D 角色以及周边环境。

穿帮时宁可穿模,也不瞎变形

Spell 底层是一套扩散模型,核心卖点是多视角的物理一致性。

做 3D 生成最怕运镜。以前不少 AI 视频在镜头穿过障碍物时,墙壁会莫名其妙扭曲成一团黏糊糊的怪东西。Spline 团队强调,Spell 会模拟真实的物理材质特性,包括光线反射、折射、表面粗糙度以及景深。

更有意思的是相机的穿透逻辑。如果运镜时不小心让镜头怼进了墙壁里,模型会计算真实的相机与物体相交切割,而不是为了画面顺畅去偷偷形变或熔解物体。这种坚持物理真实的取向,让生成的场景看起来更像个真实世界。

输出形态也很灵活。Spell 生成的内容可以直接导出为视频、连续图片序列,或者是当下热门的 3D Gaussian Splatting(高斯泼溅)体积文件。用户后续还可以用常规的三维重建算法,把它转成传统工作流里最通用的网格面(Mesh)。

训练数据方面,Spline 走了一条相当克制的路线。他们没有碰任何 Spline 平台用户的私人设计,而是靠团队自己在世界多国长期实地采集的真实影像,加上内部渲染管线合成的 3D 数据,以及商业授权的市场模型混合训练而成。

为什么重要

我们认为,Spell 最聪明的地方在于把生成结果直接对准了 Gaussian Splatting 和可编辑资产,而不是只给创作者画一张好看但不能用的全景图。

对独立游戏开发者、空间计算设计师和视觉艺术家来说,在概念设计阶段搭环境一直是最耗时的苦活。如果能把一张概念草图几分钟转化成带景深、可运镜的 3D 体积资产,前期的灰模搭建成本会被直接打下来一大截。当然,目前它还是第一代模型,官方自己也承认质量和细节一致性有待打磨,现在拿来做最终资产交付还不现实,但用来做场景预演和分镜实验已经很值得一试。

在行业层面,这标志着 3D 生成从「单体资产生成」正式迈向了「空间世界生成」。以往 Runway、Pika 解决的是 2D 画面的动态化,而 Spline 试图从一开始就让 AI 理解真正的三维空间关系。只要它能频繁迭代并无缝嵌入 Spline 原有的网页端实时编辑器里,传统的 3D 生产管线可能很快就会迎来一场彻底的重构。

来源 (1)

  1. [1]
    blog.spline.design(在新标签页打开)原文blog.spline.design

每日 AI 内容精选