Microsoft 釋出 Map2World:畫張俯視色塊圖,直接生成可探索 3D 世界
Microsoft 推出 AI 框架 Map2World。使用者只需輸入一張顏色分割槽的俯視地圖並搭配提示詞,系統就能生成可旋轉探索的完整 3D 世界,還能精準控制建築比例。它擺脫了傳統網格佈局限制,讓大場景 3D 建模像畫地圖一樣直觀。

過去要搭一個開放世界 3D 場景,遊戲關卡策劃或環境美術師往往得在引擎裡一個網格一個網格排布地塊、調碰撞、對比例。
現在,這個過程可能變成了一場填色遊戲。5 月 1 日,Microsoft 團隊在 arXiv 上公佈了全新的 AI 生成框架 Map2World。你只需要拿出一張隨手畫的俯視分割色塊圖,再給每個區域附上一兩句提示詞,系統就能憑空拔起一座比例嚴整、支援 360 度旋轉探索的立體世界。
畫張色塊圖,四季與文明無縫拼接
Map2World 的用法非常直觀。你在俯視地圖上用不同顏色劃出區域,AI 就會按圖索驥。
在演示中,研發團隊輸入了一張分成四塊的地圖:藍色定義為春天村莊,黃色是夏天,綠色代表秋天,粉色則是冬天。模型隨後生成了一個完整的 3D 世界,不僅不同季節的植被與地貌過渡自然,鏡頭還能自由旋轉環視。
換一套提示詞,跨維度的混搭同樣成立。比如把藍色區域設為擁有玻璃幕牆的現代摩天樓群,黃色區域交給古羅馬風貌的黃石街區,綠色區域則留給充滿綠植的未來主義太陽朋克城。生成的 3D 世界裡,三座風格截然不同的城區緊密相連,各自特徵分明。
更關鍵的是,使用者不僅能定義區域的任意形狀與範圍,還能直接控制生成建築的相對比例與高矮尺度。
給大世界裝上「細節放大鏡」
大場景 3D 生成一直是行業難題。以往的技術要麼必須把場景鎖死在死板的固定網格里,稍微擴大範圍就會出現建築比例忽大忽小、遠看還行近看變形的硬傷。
根據論文介紹,Map2World 繞開了網格限制,核心在於引入了一個專門的細節增強網路(detail enhancer network)。它在讀取全域性空間結構的前提下,專門負責雕琢區域性的高解析度細節,做到兼顧全域性連貫性與區域性精細度。
此外,整個框架充分借力了現有單體 3D 資產生成器(asset generators)的豐富先驗。這就讓模型即便在缺少海量全景大地圖訓練資料的情況下,也能憑藉對單個建築和物體的認知,生成泛化性極強的豐富地貌。
除了遊戲和內容創作,這項技術也被指可用於自動駕駛模擬環境的快速搭建。
為什麼重要
對關卡設計師、獨立獨立遊戲開發者和虛擬製作團隊來說,這能極大縮短從草圖到灰模原型驗證的週期。以往驗證一個地圖概念需要數天建模,現在只需像畫簡筆畫一樣塗出功能分割槽,幾分鐘內就能得到一個比例協調、可直接漫遊觀察的 3D 原型。
對於自動駕駛和具身智慧領域,合成模擬環境向來成本高昂。這種通過分割圖可控生成大尺度場景的方式,能以極低成本批次製造極端天氣、複雜十字路口或特殊城市風貌,用來給演算法做壓力測試。
我們認為,Microsoft 這次最聰明的地方在於沒有迷信「端到端一鍵生成一切」,而是把宏觀佈局的控制權留給了最懂構圖的人類——用一張色塊圖決定哪裡是河、哪裡是城,AI 則專心解決尺度統一與細節填充。不過看起來,目前這套框架主要還在論文概念驗證階段,生成的模型資產如何匯入現代遊戲引擎、即時渲染與碰撞物理如何匹配,仍需要等待進一步的工程落地。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org