跳到正文
IFAI

开源项目

Evoke 开源:140 亿参数交互式世界模型,单图加摇杆实时生成可控场景

首次发布 传播指数 48

开源交互式世界模型 Evoke 发布,输入单张图片加摇杆操作即可在 3 步内近实时生成交互视频。模型参数量为 140 亿,权重约 57GB,支持数小时长会话并不限长延伸场景。目前代码与全阶段训练权重均已按 Apache 2.0 开源。

Evoke 开源:140 亿参数交互式世界模型,单图加摇杆实时生成可控场景
图:github.com

Evoke 是一个能把单张静态图片变成实时可操控交互世界的开源 AI 视频模型。你只要给它一张初始画面,再连上摇杆,就能像玩游戏一样在画面里开雪地摩托、划皮艇甚至潜水,模型会在几秒内根据操作即时渲染后续视频。

它能做什么

核心用法很简单:一张图片起手,摇杆控制视角和移动。输入指令后,模型几乎实时吐出对应的连续画面。

在生成过程中,你还能随时给它发文字指令改写场景。比如开着车突然输入「在场景里加气球」或「天空中出现极光」,甚至让远处的火山爆发,画面不会中断,直接在当前运镜里平滑过渡。

它不仅支持写实画风和各种艺术风格,对复杂物理场景的理解也很扎实。除了拿来做交互式探索,这个能力最大的用途之一是为具身智能生成合成训练数据,比如医院护理、水下探索或极端灾难救援等现实中很难采集的机器人移动视频。

怎么做到的与硬件门槛

能在保持可控的同时接近实时,关键在于它把扩散模型的推理压缩到了仅需 3 个步骤,而且去掉了分类器自由引导(CFG),每一步只需一次前向计算。

普通视频模型跑几分钟就会显存爆炸,而 Evoke 支持持续数小时的交互会话。它把场景几何信息存放在一个以相机位姿索引的外部点云状态库中,渲染当前视野时只按需检索必要数据,保证上下文窗口大小恒定。

在基准测试 WBench 上,它拿下了状态评估的第一名,在长视频评测 VBench-Long 和 VBench-2.0 上也保持了很高的视觉质量。在单张英伟达 H200 上,它每 2.11 秒就能生成 1.5 秒的 384×640 视频;在五张 H200 并行下,生成耗时可以压到 1.34 秒。

Evoke 的参数量为 140 亿(14B),最终模型权重约 57GB。代码和全阶段训练权重均已在 GitHub(AlayaLab/Evoke)按 Apache 2.0 协议开源,运行需要 Python 3.10、CUDA 12.4 以及 DeepSpeed 和 Flash-Attention 环境。

为什么重要

以往像 Google Genie 3 这样的交互式世界模型大多停留在闭源演示阶段,Evoke 第一次把这种能力完整扔进了开源社区,而且连全套训练检查点都公开了。

对普通开发者和个人玩家来说,57GB 的显存开销意味着本地门槛极高,非企业级卡很难跑顺。但对于机器人研发和具身智能团队来说,它现在就是一个现成可用的长时物理环境生成器,非常值得马上拉到服务器上跑跑看。

来源 (2)

  1. [1]
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选