跳到正文
IFAI

开源项目

H3 World:把开源视频模型 Miniax H3 变成互动游戏

首次发布 传播指数 48

开源项目 H3 World 发布,将视频生成模型 Miniax H3 变成了交互式游戏引擎。它不用另造控制系统,而是把键盘按键翻译成短英文送入模型,让生成的视频实时跟手。目前本地运行代码和训练脚本已全部开源。

H3 World:把开源视频模型 Miniax H3 变成互动游戏
图:comfyui-wiki.com

H3 World 把开源视频生成模型 Miniax H3 变成了一个能用键盘操作的交互式游戏引擎。

你只需要给它一段基础 Prompt,再加上键盘上的按键操作,它就能生成一段实时跟随这些按键动作的视频,给人的感觉就像在亲手控制角色、探索一个虚拟世界。

它是怎么做到的

这个项目最聪明的地方,在于完全没有重新设计一套复杂的物理引擎或专用控制系统。

它用了一个非常讨巧的方案:把你的每一次键盘按键,直接翻译成简短的英文描述,然后把这些文本送进 Miniax H3 原本就有的语言理解层。

接着,系统会把每条动作指令精准对应到视频画面中动作应该发生的位置。模型原本只懂按文字画视频,现在借着这个中转机制,直接学会了听键盘的指挥。

已经开源,代码和脚本都在

目前这个项目已经正式公开,并不是只停留在演示视频阶段。

开发者把完整的代码放到了 GitHub 上,页面里详细写明了如何在自己的电脑上下载并本地部署运行的所有步骤。

除了推理代码之外,他们甚至连模型对应的训练脚本也一并开源了,这意味着开发者不仅能拿来玩,还能基于自己的数据继续微调改进。

想要尝试的话,直接访问项目的 GitHub 仓库,按照文档说明拉取代码和模型文件即可开始本地配置。

为什么重要

我们认为,H3 World 的思路给世界模型和生成式游戏提供了一条极具性价比的捷径。

以前做类似的可交互生成演示,往往需要重训整个底层架构,或者外挂一套沉重的空间控制网络;而 H3 World 证明了只要在现成文本层上做轻量映射,现有的开源视频模型就已经具备交互潜力。

对开发者和研究人员来说,连训练脚本一起开源意味着门槛被大幅拉低,完全值得立刻克隆下来跑跑看。尽管目前的生成画质和延迟可能离商业游戏引擎还有距离,但在开源社区的演进速度下,这种轻量交互方案很可能会迅速衍生出更多实用工具。

来源 (2)

  1. [1]
    danzer1xxxxchan.github.io(在新标签页打开)原文danzer1xxxxchan.github.io
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选