跳到正文
IFAI

大模型

Odyssey 推出两款世界模型:实时音画同步,还能 4 人联机打游戏

首次发布 传播指数 50

Odyssey 推出世界模型 Starchild-1 与 Agora-1。前者能根据用户输入实时生成音画同步的内容且无固定时长,后者首次支持最多 4 名玩家在同一个由 AI 实时生成的虚拟世界中互动。这意味着世界模型正从离线视频生成转向真正可交互的多人模拟引擎。

Odyssey 推出两款世界模型:实时音画同步,还能 4 人联机打游戏
图:press.airstreet.com

过去两三年里,我们看到的视频生成基本都像是在「开盲盒」:给一段提示词,等系统把进度条跑完,吐出一段几秒钟的精美视频。无论画面有多逼真,一旦开始渲染,整段视频的未来就锁死了,你既不能打断,也没法伸手进去互动。

AI 研究公司 Odyssey 连发两个世界模型,试图彻底打破这种离线单向生成的局面。一个是能以最高 24 fps 实时生成同步音画的 Starchild-1,另一个则是允许多达 4 名玩家在同一个 AI 生成环境里实时联机的 Agora-1。

不只生成画面,连声音和动作也实时算出来

Starchild-1 被 Odyssey 称为首个真正的实时多模态世界模型。它最大的变化是彻底告别了固定时长,可以一边接收流式的文字、语音或操作指令,一边不间断地实时输出画面和声音。

过去的世界模型往往假装物理世界是无声的,但这丢掉了大量的物理碰撞与动态反馈信号。问题在于,音频和视频的时间分辨率差异极大,长序列生成时极容易音画脱节。

Odyssey 的做法是把双向音视频基座模型 Ovi 改造成实时自回归架构,同时配上一套异步 KV 缓存机制,让音频和视频各自按自己的时钟推进,却依然保持精准同步。

目前这个模型支持自由探索、脚本对话控制、实时对话和旁白式陪伴四种玩法。不过团队也很坦率,长程生成下的场景与声音特征漂移问题依然没有完全解决。

4 个人联机打《黄金眼》,每个像素都是现算的

如果说 Starchild-1 解决的是单人沉浸,Agora-1 则是冲着多人游戏引擎去的。

Odyssey 用经典射击游戏《黄金眼》做了一场死斗演示:最多 4 名玩家能同时接入同一个 AI 世界,每个人看到的每一个像素,都是神经网络在现场实时渲染出来的。

多人联机最难的是如何保证所有人看到同一个世界。Agora-1 把模拟与渲染拆成了两个独立的模型:一个模型负责根据所有玩家的操作演化共享的底层世界状态,实时跟踪位置与生命值;另一个模型则负责从各个玩家的独立机位把画面画出来。

换句话说,它把现代游戏引擎的架构完全用神经网络重新实现了一遍,只是状态逻辑和图形管线全由数据驱动,而不是靠程序员手写代码。

为什么重要

我们认为,Odyssey 这两步棋走得非常清醒。AI 生成视频卷到今天,画面清晰度已经逼近天花板,真正卡住下一阶段落地的,正是可操作性与实时性。

对普通开发者和游戏设计师来说,Agora-1 展现了一种令人兴奋的可能性:未来的游戏可能不再需要庞大的美术资源包和死板的关卡脚本,任何交互都能在现场由模型动态生成。Agora-1 已经在 agora.odyssey.ml 开放试玩,虽然目前的画质和延迟离商业 3A 大作还有距离,但它已经从概念验证变成了能亲手碰到的玩具。

对具身智能和机器人领域来说,意义甚至更直接。在物理世界里训练机器人的成本极高,如果能有自带实时声音、物理反馈且支持多智能体互动的 AI 模拟器,机器人就能在虚拟世界里以几千倍的速度试错,成长环境完全变了。

当然,隐患也摆在眼前。实时自回归模型的计算开销极大,长程生成的逻辑一致性更是业界公认的难题。但无论如何,当世界模型从播片走向联机打游戏,生成式 AI 的竞争维度,已经彻底变了。

来源 (1)

  1. [1]

每日 AI 内容精选