VAST 开源 Mira-Scene:单图直接生成可编辑 3D 场景
VAST AI Research 开源 3D 场景重建管线 Mira-Scene,可将单张图片转化为包含独立物体的可编辑 3D 场景。它通过恢复像素级对应关系,保证物体尺度与原图严格一致,能直接导入 Blender 做动画或对接机器人仿真。目前代码与权重已完全开放。

Mira-Scene 是一个能把单张普通图片直接拆解并重建为可编辑 3D 场景的开源工具。
以往用 AI 从单图拼场景,常见的问题是物体虽然造出来了,但放在一起尺度不对、透视失真,或者和原图里的物体错位。Mira-Scene 的核心思路就是解决这种漂移,保证生成出来的每个 3D 物体在空间布局和像素位置上与原图严格对齐。
它能做什么
只要喂给它一张普通室内或静物图片,Mira-Scene 就会自动把图里的各个独立物体抠出来,生成各自独立的 3D 网格模型,再把它们稳稳当当地摆回 3D 空间对应的位置。
因为每个物体都是独立的网格,你重建完之后可以直接把整个场景打包导入 Blender。你可以单独选中里面的椅子挪动位置、换贴图,或者给它做一段物理碰撞动画。
对搞具身智能的开发者来说,它生成的场景能直接对接物理模拟器,用来快速给机器人搭建仿真训练环境,省去了手动画白模的时间。
像素对齐是怎么做到的
现有的 Agent 类系统如果直接从零拼装场景,经常出现几何形状漂移和比例失调。Mira-Scene 换了一条路,把整套流程拆成了一套严密的推理管线。
它先对原图做交互式实例分割和场景深度估计,接着通过名为 Mira-CCM 的模块预测正则化坐标与体素,随后独立生成物体的 3D 网格。
最后一步是场景组装与环境贴图渲染。它通过恢复密集的像素级对应关系重新计算所有物体的尺度与朝向,让重建结果与原图视角重合。
在与闭源方案 SAM3D 的对比测试中,SAM3D 依赖数百万张数据和大量人工布局标注,而 Mira-Scene 仅凭 8 万条数据和全自动管线,在 3D-IoU(0.727 对比 0.520)和 2D-IoU(0.783 对比 0.672)等关键指标上实现了反超。
怎么跑起来
整套项目的代码基于 MIT 协议开源,项目体积大约只有 6.1GB,普通的中端消费级显卡就能直接跑起来。
官方在 GitHub 和 Hugging Face 上同步放出了完整的推理管线、评估工具、Stage 1 与 Stage 2 的预训练权重,以及微调所需的数据集。
代码支持断点续跑,而且自带多卡分片支持,如果手头有多张卡,可以批量跑用例重建。
为什么重要
如果你是独立游戏开发者、3D 场景建模师或者机器人仿真算法工程师,Mira-Scene 非常值得现在部署来试一试。它把以前需要专业三维软件逐个摆放、调尺度的活,压缩成了一条单图全自动处理管线,大幅降低了场景数字孪生的门槛。
在技术路线上,它用仅 8 万条合成与微调数据击败了闭源的百万级标注方案,证明了严谨的几何约束与像素对齐比无脑堆砌模型体量更管用。尽管复杂多遮挡极端视角下的表现依然依赖输入质量,但作为完全开放的本地基础设施,它给 3D 空间生成提供了一个极佳的开箱即用底座。
来源 (1)
- github.com(在新标签页打开)原文github.com