跳到正文
IFAI

AIGC

李飞飞创办的 World Labs 亮相:单张照片生成可漫游 3D 场景

首次发布 传播指数 39

李飞飞联合创办的 World Labs 公布首个系统,能将单张照片变成在浏览器里实时交互的 3D 场景。模型不仅符合物理规律,还能用键鼠调节景深并自由移动视角。虽然目前漫游范围有限,但为可控的「世界模型」迈出关键一步。

李飞飞创办的 World Labs 亮相:单张照片生成可漫游 3D 场景
图:techcrunch.com

拿出一张平平无奇的照片,点一下,你就能像玩第一人称游戏一样走进去,转动视角,甚至伸手改改里面的光影。

由李飞飞创立的 AI 初创公司 World Labs,最近端出了他们的第一个研究成果:一套能把单张 2D 照片变成可交互 3D 场景的 AI 系统。

像玩游戏一样走进一张照片

市面上能把照片变成 3D 模型的工具已经不少,但 World Labs 这次拿出来的东西不太一样。它生成的不是一个孤立的摆件,而是一个完整的空间。

在他们官网放出的早期演示里,任何人在浏览器里靠键盘和鼠标就能四处走动。画面在网页端实时渲染,镜头还配了可调节的模拟景深,调高景深之后背景就会自然虚化。

更关键的是场景的物理感。像之前 Decart 发布的 Minecraft 模拟器 Oasis,最大的毛病是分辨率低,而且转个身就会把刚才的地图忘得一干二净。

World Labs 这次押注的是所谓「世界模型」。他们声称生成的场景一旦建立就会保持空间一致性,符合基础物理规律,有实体感和纵深,不会走两步墙就融化了。

除了四处张望,系统还允许用户对场景做轻度修改。比如动态更换背景的光照条件,或者改换场景中物体的颜色。

不过,它现在还只是个早期预览版本。画风整体偏卡通,你能探索的范围其实只有一小块,走几步就会撞上空气墙,偶尔还会看到两个物体不自然地穿模搅在一起。

估值十亿的「世界模型」野心

World Labs 成立于今年早些时候,估值已经突破 10 亿美元。它从 a16z、Intel Capital、AMD Ventures 以及前 Google CEO Eric Schmidt 等人手里拿了 2.3 亿美元融资。

联合创始人 Justin Johnson 最近在播客里提到,传统上搭建一个虚拟互动世界要砸几亿美元和几年的开发时间。World Labs 想做的事情,是直接跨过 2D 图片和视频片段,直接生成一个能互动、有物理规律的完整 3D 环境。

他们计划在 2025 年正式推出首款商用产品,目标客户群非常明确,就是游戏开发者、电影制片厂、艺术家和工程师。

为什么重要

我们认为,World Labs 的切入点极其聪明,它直接挑中了当前文生视频工具最致命的软肋。

现在的视频生成模型看着再逼真,说白了依然是基于像素预测的二维幻灯片。运镜稍微剧烈一点,或者想换个机位补拍,画面里的建筑和逻辑就会彻底穿帮,根本无法直接塞进游戏引擎或影视管线做资产。

World Labs 从第一天起就坚持在 3D 空间和物理定律里做生成,这意味着它输出的结果天然自带一致性。如果普通创作者能在几秒钟内把一张概念图变成一个能打光、能架摄像机的粗模场景,前期勘景和分镜设计的门槛会被砸得粉碎。

但它现在的隐患也相当明显。撞墙式的微小探索区域和偶发的穿模渲染错误,说明模型在脑补画面盲区时的空间想象力还很有限。

对于大部分读者和普通开发者来说,现在这套技术还只能算是个技术尝鲜,远不到能放进工作流的地步。它的真正大考在 2025 年,到时就看它端出的商业工具,到底是一个真正可用的下一代虚拟摄影棚,还是仅仅算力堆出来的华丽玩具。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选