Generative World Renderer：靠一段文字，直接重塑 3A 遊戲畫面與光照

想把《黑神話：悟空》裡蒼涼的古剎直接換成賽博朋克霓虹風，以前得靠美術團隊重新做材質、調光照，折騰好幾個月。

現在有人換了個思路：既然 3A 遊戲本來就有現成的空間和表面資料，為什麼不把這些資訊直接塞給 AI？

研究團隊公佈了 Generative World Renderer。它從《黑神話：悟空》和《賽博朋克 2077》這類頂級 3A 遊戲裡，抓取了整整 400 萬幀高質量圖形資料。創作者只需要敲一行文本提示詞，就能直接重塑遊戲畫面的風格、天氣甚至整體光照。

撬開 3A 遊戲的圖形底盤

過去的影片生成模型給畫面做風格重繪，最大的問題是畫面容易飄、閃爍，背景裡的柱子走兩步就變形。說白了，就是因為 AI 只認畫素，根本不懂場景裡的物體到底長在什麼位置。

研究團隊用了一套雙屏拼接抓取的方法，從遊戲底層提取出 400 萬幀同步的 RGB 畫面和 5 個通道的 G-buffer 資料，規格達到了 720p 和 30 FPS。

所謂 G-buffer，就是遊戲引擎用來記錄場景物理屬性的緩衝資料。裡面不僅有畫面顏色，還包含場景深度、物體表面朝向的法線、基礎固有色 Albedo，以及金屬度和粗糙度。

有了這套底層幾何結構打底，AI 相當於拿到了一份帶有三維空間標記的底稿。不管你在上面怎麼改風格，物體的空間位置和朝向都不會穿幫。

一句話重做光照和環境

有了這些資料，這個系統能幹兩件事。

第一件事是正向渲染。你把提取好的 G-buffer 餵給它，輸入一句提示詞，就能把《黑神話：悟空》的原有場景改成沙地荒漠，或者加上漫天的輕霧、飛舞的餘燼和螢火蟲。

第二件事是逆向渲染與重新打光。模型學會了把普通畫面的光影剝離掉，還原出乾淨的基礎材質。結合環境貼圖，創作者可以直接改變遊戲片段裡的光源方向與天色，連天空區域的光照過渡都表現得非常連貫。

為了驗證改出來的畫面到底好不好，團隊還設計了一套基於視覺語言模型（VLM）的評估方案，在沒有標準真值對比的情況下，也能從語義、空間和時間連續性三個維度給畫面打分。

為什麼重要

我們認為，這項研究走得非常聰明，它避開了從零生成影片的算力黑洞，找準了遊戲引擎與生成式 AI 結合的甜點位。

對遊戲開發者、獨立製作人和 Mod 創作者來說，這意味著概念設計和氛圍驗證的成本被斷崖式拉低。以前想看一個關卡改換夜景或廢土風是什麼效果，得在引擎裡調半天材質球，現在用文字跑一段渲染就能快速看 Demo。

對整個行業而言，純靠擴散模型死磕時間一致性已經撞上了瓶頸。Generative World Renderer 證明了一件事：把成熟圖形管線裡的 G-buffer、法線和深度資訊拿來做引導約束，比純靠模型自己腦補幾何邏輯要靠譜得多。

不過目前這套方案還停留在離線影片和 720p 解析度階段，離遊戲執行時的即時互動還有不小距離。但它給下一代即時神經渲染，撕開了一個非常實在的口子。