Microsoft 推出 MindJourney：让 AI 在脑海中「逛」3D 世界做空间推理

给你一张客厅的照片，然后问你：如果走到右边的沙发上坐下、面向餐椅，厨房会在你的左手边还是右手边？

大多数人闭上眼睛在脑子里转一圈，立刻就能给出答案。但如果你把同样的问题扔给目前最顶尖的多模态大模型，它大概率会开始胡说八道。

大模型擅长在 2D 静态图片里找猫找狗，却根本搞不清三维空间的方位关系。微软研究院最近拿出的新框架 MindJourney，就是为了帮 AI 补上这种在脑海里模拟现实的能力。

在脑海里架一台虚拟摄像机

人在思考空间位置时，靠的是在大脑里主动生成移动视角。MindJourney 把这套逻辑搬到了 AI 身上，给视觉语言模型配了一个世界模型。

这个世界模型本质上是一个视频生成系统，提前学习过大量单视角的移动视频，比如向前走、向左转、向右转，就像一个拿着摄影机在房间里走动的摄影师。

到了实际做推理的时候，模型会从当前的位置出发，生成好几张不同走法能看到的逼真画面。这时视觉语言模型就充当裁判，专门挑选那些最有可能解答问题的视角，把没用的路径扔掉，一步步往深处探索。

零额外训练拉高 8% 准确率

为了不让脑内漫游变成毫无头绪的瞎逛，MindJourney 引入了空间束搜索算法。它在有限的步数内平衡搜索的广度和深度，避免一次性生成成千上万个无意义的视角。

最巧妙的地方在于，这套框架完全不需要重新训练大模型或世界模型。把现成的多模态大模型和视频世界模型拼在一起，纯靠推理阶段的想象循环，就能让它理解一张照片之外的世界。

在 SAT 空间能力训练基准测试上，这套方法让视觉语言模型的准确率直接比基准提高了 8%。在多个三维空间推理测试集上，先进的视觉模型套上它都有明显提升。

微软表示，下一步他们打算让世界模型不仅能预测视角变化，还能预测物理场景随时间演变的过程，让 AI 真正理解物理世界的动态规律。

为什么重要

我们认为，这项研究最惊艳的地方，是它把视频生成模型当成了大模型的思维链。过去大家卷视频生成，比拼的都是画面够不够逼真、镜头好不好看；而 MindJourney 把它变成了三维推理的辅助工具，相当于给 AI 装了一套脑内沙盘。

对机器人和智能硬件开发者来说，这个思路非常实用。机器人不用每次都靠肉身去撞墙试错，直接在内部潜空间里模拟各种移动路线，能省下大量电量，还能减少机械磨损和碰撞风险。加上它不需要重新微调模型，接入现有系统的门槛看起来并不高。

不过它的隐患也很现实。视频生成本身非常消耗算力，哪怕用空间束搜索剪枝，每推演一步依然需要生成多张图片，这在对实时反应要求极高的自动驾驶或动态机器人场景里，延迟可能会成为瓶颈。另外，如果世界模型本身生成了有幻觉的假画面，后续的推理也会跟着跑偏。