SWM 首爾世界模型亮相：結合真實街景 RAG，生成數公里漫遊影片

過去我們看到的大多數影片世界模型，本質上都在做一件事：靠模型自己的想像力在虛擬空間裡畫畫。只要讓鏡頭往前走上幾十米，路面的標線往往就開始扭曲，樓房的結構也跟著融化變形。

研究團隊公佈了首爾世界模型（Seoul World Model，簡稱 SWM）。它換了一條完全不同的路子：不再讓模型從零腦補一座城市，而是直接把真實的韓國首爾搬進影片生成模型裡，甚至能沿著真實街道連續生成數公里穩定的漫遊影片。

把街景變成隨調隨用的 RAG 記憶庫

SWM 的核心邏輯說白了就是檢索增強生成（RAG）。使用者給出地理座標、相機運動軌跡以及文本提示，系統就會從帶有地理索引的街景資料庫裡，調取周圍真實的街景影像作為參考。

為了把參考影像用好，團隊設計了兩條互補的通道。一條是幾何參考，通過深度投射把最近的參考幀扭曲到目標視角，告訴模型建築和路面大體該長在哪；另一條是語義參考，直接把原始參考圖塞給 Transformer，讓它學習街頭店鋪和招牌的具體細節。

街景資料最大的麻煩是拍攝時間和目標場景不一致，而且街景車拍到的路上全是移動車輛。如果不做處理，模型生成的影片裡就會冷不丁出現一輛半透明的幽靈車。

研究團隊用了一個很聰明的解法：跨時序配對。訓練時故意讓參考圖和目標影片來自不同的拍攝時間，逼著模型忽略那些轉瞬即逝的動態車輛，只去死磕固定不變的道路和建築幾何結構。

針對真實街景車只能沿車道開、資料間隔稀疏（隔著 5 到 20 米才有一張）的問題，他們還引入了視點插值管線，並用基於虛幻引擎的 CARLA 模擬器生成了 1 萬條涵蓋行人、車輛和自由視角的人工合成影片，補齊了各種刁鑽的相機移動角度。

沿途插下不會失效的「虛擬路標」

傳統自迴歸生成模型只要跑長途就會累積誤差。以前很多模型會在第一幀放一個注意力錨點，但鏡頭只要往前走幾百米，最初那一幀的指引作用就微乎其微了，畫面不可避免地走向崩潰。

SWM 提出了一個叫虛擬前瞻池（Virtual Lookahead Sink）的機制。每生成一段新的影片切片，它就會動態檢索相機前方目的地最近的真實街景，把這張乾淨的真實照片當成前方的虛擬錨點。

這就相當於系統一邊往前走，一邊不斷在前方插上新的真實路標，持續把生成的畫面拽回現實軌道。靠著這套機制，SWM 在首爾、釜山和安娜堡三個城市的測試中，都完成了數百米甚至數公里的長程影片生成。

更有意思的是，真實街景並沒有限制住視覺創意。使用者依然可以通過輸入文本提示，在真實的首爾高樓之間召喚一隻哥斯拉，或者在熟悉的馬路上掀起一場滔天巨浪。

為什麼重要

我們認為，SWM 最聰明的地方在於打破了世界模型必須純靠腦補的執念。大語言模型靠外掛知識庫解決了幻覺，影片模型同樣可以通過掛載真實地理座標和街景影像，把憑空捏造變成有據可查的現場重建。

對開發者和自動駕駛團隊來說，這種方案展現出了極具吸引力的實用價值。過去構建高保真模擬環境往往需要耗費巨資進行 3D 手工建模，而現在只要有公開的街景庫，就有可能低成本自動化生成具備真實物理佈局、又能自由注入異常天氣或極端事件的模擬世界。

當然，這項技術目前也有清晰的邊界。模型生成的視角雖然比單純車載影片自由得多，但依然受限於室外街道尺度，根本無法走進建築物內部，而且嚴重依賴高質量、密集的街景底圖資產。

但不管怎麼說，這條結合 RAG 的世界模型路線，已經給數字孿生和城市級模擬推開了一扇極其務實的大門。它證明了構建數字地球不一定非要在虛幻引擎裡一磚一瓦地壘，把現實資料當成路標交給生成模型，跑出來的效果可能遠比想像中穩定。