SWM 首尔世界模型亮相：结合真实街景 RAG，生成数公里漫游视频

过去我们看到的大多数视频世界模型，本质上都在做一件事：靠模型自己的想象力在虚拟空间里画画。只要让镜头往前走上几十米，路面的标线往往就开始扭曲，楼房的结构也跟着融化变形。

研究团队公布了首尔世界模型（Seoul World Model，简称 SWM）。它换了一条完全不同的路子：不再让模型从零脑补一座城市，而是直接把真实的韩国首尔搬进视频生成模型里，甚至能沿着真实街道连续生成数公里稳定的漫游视频。

把街景变成随调随用的 RAG 记忆库

SWM 的核心逻辑说白了就是检索增强生成（RAG）。用户给出地理坐标、相机运动轨迹以及文本提示，系统就会从带有地理索引的街景数据库里，调取周围真实的街景图像作为参考。

为了把参考图像用好，团队设计了两条互补的通道。一条是几何参考，通过深度投射把最近的参考帧扭曲到目标视角，告诉模型建筑和路面大体该长在哪；另一条是语义参考，直接把原始参考图塞给 Transformer，让它学习街头店铺和招牌的具体细节。

街景数据最大的麻烦是拍摄时间和目标场景不一致，而且街景车拍到的路上全是移动车辆。如果不做处理，模型生成的视频里就会冷不丁出现一辆半透明的幽灵车。

研究团队用了一个很聪明的解法：跨时序配对。训练时故意让参考图和目标视频来自不同的拍摄时间，逼着模型忽略那些转瞬即逝的动态车辆，只去死磕固定不变的道路和建筑几何结构。

针对真实街景车只能沿车道开、数据间隔稀疏（隔着 5 到 20 米才有一张）的问题，他们还引入了视点插值管线，并用基于虚幻引擎的 CARLA 模拟器生成了 1 万条涵盖行人、车辆和自由视角的人工合成视频，补齐了各种刁钻的相机移动角度。

沿途插下不会失效的「虚拟路标」

传统自回归生成模型只要跑长途就会累积误差。以前很多模型会在第一帧放一个注意力锚点，但镜头只要往前走几百米，最初那一帧的指引作用就微乎其微了，画面不可避免地走向崩溃。

SWM 提出了一个叫虚拟前瞻池（Virtual Lookahead Sink）的机制。每生成一段新的视频切片，它就会动态检索相机前方目的地最近的真实街景，把这张干净的真实照片当成前方的虚拟锚点。

这就相当于系统一边往前走，一边不断在前方插上新的真实路标，持续把生成的画面拽回现实轨道。靠着这套机制，SWM 在首尔、釜山和安娜堡三个城市的测试中，都完成了数百米甚至数公里的长程视频生成。

更有意思的是，真实街景并没有限制住视觉创意。用户依然可以通过输入文本提示，在真实的首尔高楼之间召唤一只哥斯拉，或者在熟悉的马路上掀起一场滔天巨浪。

为什么重要

我们认为，SWM 最聪明的地方在于打破了世界模型必须纯靠脑补的执念。大语言模型靠外挂知识库解决了幻觉，视频模型同样可以通过挂载真实地理坐标和街景图像，把凭空捏造变成有据可查的现场重建。

对开发者和自动驾驶团队来说，这种方案展现出了极具吸引力的实用价值。过去构建高保真仿真环境往往需要耗费巨资进行 3D 手工建模，而现在只要有公开的街景库，就有可能低成本自动化生成具备真实物理布局、又能自由注入异常天气或极端事件的模拟世界。

当然，这项技术目前也有清晰的边界。模型生成的视角虽然比单纯车载视频自由得多，但依然受限于室外街道尺度，根本无法走进建筑物内部，而且严重依赖高质量、密集的街景底图资产。

但不管怎么说，这条结合 RAG 的世界模型路线，已经给数字孪生和城市级仿真推开了一扇极其务实的大门。它证明了构建数字地球不一定非要在虚幻引擎里一砖一瓦地垒，把现实数据当成路标交给生成模型，跑出来的效果可能远比想象中稳定。