跳到正文
IFAI

大模型

SpAItial 发布 3D 世界模型 Echo-2:单张照片生成可漫游场景,跑分超 Marble 1.1

首次发布 传播指数 50

SpAItial 发布 3D 世界生成模型 Echo-2,可将单张照片或文本转化为持久、可交互的 3D 环境。模型支持基于语义分割的局部物体编辑,并能通过 3DGS 在网页端实时渲染,在 WorldScore 基准上全面超越 World Labs 的 Marble 1.1。

图:spaitial.ai

现在的 AI 视频模型生成画面很惊艳,但只要镜头一转或者多走两步,桌上的茶杯就变形了,远处的门也凭空消失了。这其实是所有视频生成模型的通病:它们是在猜下一帧画面,根本不懂什么是真实空间。

AI 初创团队 SpAItial 发布了全新的 3D 世界生成模型 Echo-2。官方表示,它不再靠逐帧脑补画面,而是直接从文本提示词或单张照片里,生成一个真正具备空间几何一致性、可以让人在里面自由走动的 3D 虚拟世界。

不做连环画,直接搭一个真 3D 空间

大多数 AI 视频模型是把画面一帧一帧往后推,不仅极其消耗算力,还极容易发生几何漂移。只要你让镜头绕一圈回来,刚才的房间可能已经变了样。

Echo-2 的思路完全不同。它在底层直接构建持久的 3D 场景表征,一次性确定了空间的几何布局与外观。用户在里面前后左右移动,场景都是固定且连续的,彻底避免了随时间推移而变形的毛病。

更接地气的是渲染方式。SpAItial 在网页端采用了 3D 高斯泼溅技术(3DGS)。这意味着生成的场景不需要昂贵的工作站,直接在普通电脑的浏览器里就能依靠 GPU 极速渲染,哪怕配置普通的硬件也能流畅漫游。

不仅能看,它还能让人随意改动。模型内置了高精度的语义分割能力,能自动分清场景里的桌子、椅子、地板和墙壁。如果你想重新装修,只要输入文字,就能单独替换一把椅子或换掉墙皮,而周围的家具布局完全不受影响。对于建筑设计和房产领域,它甚至能直接吃进一张二维户型图,快速拉起一套可漫游的 3D 样板间。

在评估世界模型生成质量的 WorldScore 基准测试中,SpAItial 称 Echo-2 击败了强劲对手 World Labs 的最新模型 Marble 1.1,在内容匹配度、主观审美质量以及综合得分这三大核心指标上均实现了超越。

为什么重要

世界模型这个赛道,正在从炫技式的概念演示,走向能落地的生产力工具。

对独立游戏开发者和空间设计师来说,Echo-2 显著降低了三维资产和关卡搭建的门槛。过去给老房子做数字孪生或者给游戏搭一个可探索的关卡,需要激光扫描设备或几天的人工建模。现在一张照片或一段文字,几分钟就能拉出一个能在浏览器里操作的基础原型,甚至还能直接放进角色做玩法测试。

对整个 AI 行业而言,更深远的影响在具身智能。李飞飞创立的 World Labs 刚刚用 Marble 1.1 树立了标杆,SpAItial 紧接着就用 Echo-2 叫板,说明空间智能的竞争正在全面提速。机器人要想在现实世界干活,必须先在虚拟仿真环境里大量试错。用廉价的单张照片生成高精度的虚拟空间,正好解决了机器人仿真训练数据匮乏的最大瓶颈。

不过,目前的 Echo-2 解决的主要是静态空间的几何一致性。正如团队自己所说,真正的难点在于物理规律和时间动态。如果场景里的杯子掉下去不会碎、水龙头拧开不会出水,那它就依然只是一个漂亮的布景,离真正能训练通用机器人的物理世界还有一段距离。但毫无疑问,迈出这一步,已经让数字世界和现实空间的连接变得近了许多。

来源 (1)

  1. [1]
    spaitial.ai(在新标签页打开)原文spaitial.ai

每日 AI 内容精选