Microsoft 推出 MindJourney：讓 AI 在腦海中「逛」3D 世界做空間推理

給你一張客廳的照片，然後問你：如果走到右邊的沙發上坐下、面向餐椅，廚房會在你的左手邊還是右手邊？

大多數人閉上眼睛在腦子裡轉一圈，立刻就能給出答案。但如果你把同樣的問題扔給目前最頂尖的多模態大模型，它大機率會開始胡說八道。

大模型擅長在 2D 靜態圖片裡找貓找狗，卻根本搞不清三維空間的方位關係。微軟研究院最近拿出的新框架 MindJourney，就是為了幫 AI 補上這種在腦海裡模擬現實的能力。

在腦海裡架一臺虛擬攝像機

人在思考空間位置時，靠的是在大腦裡主動生成移動視角。MindJourney 把這套邏輯搬到了 AI 身上，給視覺語言模型配了一個世界模型。

這個世界模型本質上是一個影片生成系統，提前學習過大量單視角的移動影片，比如向前走、向左轉、向右轉，就像一個拿著攝影機在房間裡走動的攝影師。

到了實際做推理的時候，模型會從當前的位置出發，生成好幾張不同走法能看到的逼真畫面。這時視覺語言模型就充當裁判，專門挑選那些最有可能解答問題的視角，把沒用的路徑扔掉，一步步往深處探索。

零額外訓練拉高 8% 準確率

為了不讓腦內漫遊變成毫無頭緒的瞎逛，MindJourney 引入了空間束搜尋演算法。它在有限的步數內平衡搜尋的廣度和深度，避免一次性生成成千上萬個無意義的視角。

最巧妙的地方在於，這套框架完全不需要重新訓練大模型或世界模型。把現成的多模態大模型和影片世界模型拼在一起，純靠推理階段的想像迴圈，就能讓它理解一張照片之外的世界。

在 SAT 空間能力訓練基準測試上，這套方法讓視覺語言模型的準確率直接比基準提高了 8%。在多個三維空間推理測試集上，先進的視覺模型套上它都有明顯提升。

微軟表示，下一步他們打算讓世界模型不僅能預測視角變化，還能預測物理場景隨時間演變的過程，讓 AI 真正理解物理世界的動態規律。

為什麼重要

我們認為，這項研究最驚豔的地方，是它把影片生成模型當成了大模型的思維鏈。過去大家卷影片生成，比拼的都是畫面夠不夠逼真、鏡頭好不好看；而 MindJourney 把它變成了三維推理的輔助工具，相當於給 AI 裝了一套腦內沙盤。

對機器人和智慧硬體開發者來說，這個思路非常實用。機器人不用每次都靠肉身去撞牆試錯，直接在內部潛空間裡模擬各種移動路線，能省下大量電量，還能減少機械磨損和碰撞風險。加上它不需要重新微調模型，接入現有系統的門檻看起來並不高。

不過它的隱患也很現實。影片生成本身非常消耗算力，哪怕用空間束搜尋剪枝，每推演一步依然需要生成多張圖片，這在對即時反應要求極高的自動駕駛或動態機器人場景裡，延遲可能會成為瓶頸。另外，如果世界模型本身生成了有幻覺的假畫面，後續的推理也會跟著跑偏。