跳到正文
IFAI

大模型

Runway 发布通用世界模型 GWM-1:实时交互模拟现实,切入机器人领域

首次发布 传播指数 58

Runway 发布通用世界模型系列 GWM-1。它基于 Gen-4.5 自回归实时逐帧生成,支持镜头姿态与机器人动作交互控制,划分为环境探索、对话化身和机器人控制三类。最值得关注的是它能充当机器人策略的视觉模拟器,大幅降低真机试错成本。

Runway 发布通用世界模型 GWM-1:实时交互模拟现实,切入机器人领域
图:runwayml.com

视频生成做到了尽头,接下来该做什么?Runway 给出的答案是直接造一个世界。

Runway 正式发布了自家的首个通用世界模型系列 GWM-1。它基于刚登顶 Video Arena 竞技场的 Gen-4.5 底座构建,采用自回归架构,能做到实时逐帧生成,并且可以通过相机位姿、机械臂指令或音频输入进行实时交互控制。

Runway CTO Anastasis Germanidis 在直播里说得很直接,他们认为要造世界模型,最靠谱的路子就是先把视频模型做好,让模型直接学会预测像素。当规模和数据足够大时,模型自然会理解现实世界的运转规律。

一个底座,分化出三个世界

这次 GWM-1 并没有直接拿出一个包罗万象的大一统模型,而是先拆成了三个特定方向的后训练分支。

第一个是 GWM Worlds。给它一段提示词或一张参考图,它就能实时生成一个可供探索的连续空间。这套系统以 720p 分辨率、24 帧每秒运行,能在玩家或智能体移动时,实时计算几何空间、光照和物理碰撞。除了做游戏,它的核心用途是给 AI 智能体当训练场。

第二个是 GWM Robotics,这也是 Runway 跨界最大的一步。Runway 给它配了专属的 Python SDK,主要卖给机器人公司。它既能作为机器人策略模型的视觉骨干网络,又能生成带障碍物或恶劣天气的合成数据,甚至能直接充当模拟器,让 OpenVLA 或 OpenPi 这类具身模型在里面跑仿真测试和反事实推演,省掉物理硬件磨损的成本。

第三个分支是 GWM Avatars,也就是已经上线的 Runway Characters。它靠音频驱动,无论是写实还是风格化的人物,都能在倾听和表达时保持自然的微表情、眼神和手势,即使长时间连续对话也不会出现面部崩坏。

除了世界模型,Runway 当天还给 Gen-4.5 补上了原生音频生成和多镜头编辑能力。现在生成的视频不仅能自带环境音和对白,还能直接修改已有音频,甚至修改第一镜头的道具或背景,整段一分钟的视频都会自动保持一致。

为什么重要

我们认为,Runway 这一步走得相当敏锐,它实际上在重新定义自己的商业天花板。

过去大家把 Runway 看作影视特效和创意生成工具,但生成式视频很快就会遭遇内容变现的瓶颈。通过 GWM-1,Runway 正式把业务触角伸向了具身智能、自动驾驶和工业仿真。与其只做创作者手里的画笔,不如去做整个机器人产业的物理引擎和数据合成工厂。

对于机器人开发者和具身智能团队来说,这个模型非常值得关注。采集真实世界的机械臂操作数据成本极高,而且极端工况很难复现。如果 GWM-1 提供的物理直觉足够可靠,直接在生成的视频环境里做策略评估和反事实推演,开发周期和硬件损耗都会大幅下降。

但这里的隐患也同样明显。自回归生成像素的方法虽然通用,却非常容易产生幻觉。在游戏里穿模只是视觉瑕疵,但如果机械臂把幻觉出来的物理规律当成真实世界,部署到现实中就会带来灾难。将三套模型未来整合回一个单一基座的难度也极其苛刻。它到底是一个能替代物理引擎的通用模拟器,还是一个看起来很逼真的视频生成器,接下来就看机器人企业接入 SDK 后的真实反馈了。

来源 (2)

  1. [1]
    runwayml.com(在新标签页打开)原文runwayml.com
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com

每日 AI 内容精选