字节开源 Helios:单张 H100 实时生成 1 分钟长视频,跑出 19.5 帧
字节开源 14B 实时视频生成模型 Helios,在单张 H100 上生成速度达 19.5 帧/秒,最长可生成 1 分钟长视频且画风不崩。最值得关注的是,它无需繁复外挂手段就解决了长视频画质漂移难题。相关运行管线与代码已开源至 GitHub。

Helios 是字节开源的一个 14B 实时长视频生成模型。它的核心能力,就是在单张 NVIDIA H100 显卡上以 19.5 帧/秒的速度,实时生成最长达 1 分钟的视频,而且画面不会随着时长拉长而崩坏。
它能做什么
Helios 原生支持文生视频、图生视频以及视频生视频三种常见任务。
最显眼的特点就是快。在终端的实际演示中,一段 30 多帧的内容几乎不到 2 秒就能跑完。其蒸馏版本的生成帧率稳定在 19.5 帧/秒左右,已经非常接近传统视频的流畅播放标准。
另一个突破是抗漂移。过去的实时模型生成几秒还行,一旦拉长,画面通常很快就会出现噪点失控、动作无限重复或者画风走样。Helios 最长能连续跑出 1 分钟的视频,且画风始终保持连贯。
画质方面,虽然追求实时生成让它不可避免地带有一点噪点,锐度也比不上慢速离线渲染的顶级模型,但在同类实时生成工具中画质优势明显,甚至能直接对标部分非实时视频模型。
怎么做到的与硬件门槛
Helios 采用的是 14B 参数量的自回归扩散架构。
它最聪明的地方在于没有盲目堆叠复杂技巧。团队没有采用 KV 缓存、稀疏注意力或量化等传统加速套路,而是通过大幅压缩历史上下文与噪声上下文,并精简采样步数,硬生生把 14B 模型的计算开销压到了接近 1.3B 模型的水平。
针对长视频容易漂移崩坏的问题,它没有依靠外挂误差库或关键帧采样,而是在训练阶段就显式模拟画面漂移,从源头上掐灭重复性动作。
不过,目前的运行门槛依然不低。要跑出 19.5 帧的极致速度,官方给出的基准测试是单张 NVIDIA H100 GPU。但它的显存优化做得极好,训练时甚至无需分布式切分,单张 80 GB 显存就能装下多个模型的训练批次。
项目已经开源,GitHub 仓库里完整提供了推理运行流程、本地环境安装指南和训练代码,后续也会开放基础模型与蒸馏模型权重。
为什么重要
对于手里有高端卡算力资源的开发者和技术团队来说,Helios 是一个值得立刻拉下来跑跑看的高价值底座。它证明了即便不用繁琐的外挂工程,单卡也能撑起百亿参数视频模型的实时长程生成。
我们认为,Helios 的意义在于把开源视频生成往交互式工具狠狠推了一步。过去视频生成都是点完生成然后去泡杯咖啡,而单卡 20 帧的实时长视频一旦成熟,未来的动态场景渲染、虚拟人实时交互就有了真正的实用可能。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org