字节开源生图模型 BitDance:并行预测 Token,生成提速超 30 倍
字节跳动开源自回归图像生成模型 BitDance。该模型采用二值视觉 Token 与并行扩散解码,在生成 1024x1024 图像时比传统自回归模型提速超 30 倍。最值得关注的是,它大幅缓解了自回归生图速度慢的痛点,兼顾了生成质量与推理效率。目前代码与权重已开源。
BitDance 是字节跳动开源的一套自回归图像生成模型。它的核心卖点就一个字:快。
在生成 1024x1024 高分辨率图片时,它的生成速度比传统自回归模型直接提速超过 30 倍。
熟悉生图模型的开发者都知道,自回归路线生成质量很高、可控性也强,但一直有个致命伤:推理太慢。它就像大语言模型吐字一样,必须一个 Token 接着一个 Token 串行生成。BitDance 想解决的就是这个痛点。
它是怎么做到大幅提速的
自回归模型传统做法是用离散词表索引来表示图像,但词表太小画质差,词表太大分类预测又算不动。
BitDance 换了一条路,改用紧凑的二值视觉 Token。借助高熵二值隐变量,每个 Token 能表达多达 2 的 256 次方种状态,图像压缩率极高,信息保留还很丰富。
面对这么庞大的状态空间,传统的 Softmax 分类器根本没法抽样。BitDance 于是引入了一个二值扩散头,把分类问题转换成了连续空间下的扩散过程。
更关键的一步是它提出的 Next-Patch 扩散解码机制。它不再一个一个蹦 Token,而是每一步扩散过程并行预测 64 个 Token,直接做到了大面积并行生成。
实际效果与模型规格
这套机制带来的性能收益非常扎实。在标准测试 ImageNet 256x256 上,BitDance 的 FID 指标达到了 1.24,创下了自回归模型里的新纪录。
在效率对比上,仅有 2.6 亿(260M)参数的 BitDance,不仅在画质上击败了拥有 14 亿(1.4B)参数的业界顶级并行自回归模型,推理速度还比对方快了 8.7 倍。
除了轻量小模型,BitDance 还支持扩展到 14B 这样的大模型规模。在大规模多模态数据训练下,即使模型参数拉到 14B,生成 1024x1024 真实照片级别的图像也依然能保持极快速度。
目前项目的论文、完整代码和模型权重都已经对外放出,可以在开源社区直接获取。
为什么重要
我们认为,BitDance 最有价值的地方在于把自回归生图重新拉回了工业落地的主舞台。之前自回归生图虽然逻辑上与多模态 LLM 最容易统一,但因为速度被纯扩散模型压得抬不起头。BitDance 证明了自回归架构完全能跟扩散算法融合,兼顾高质量与高吞吐。
对于想要自建生图服务或者研究原生多模态生成的开发者来说,BitDance 非常值得现在就拉下来测试。它的二值 Token 与并行扩散思路,很可能会成为接下来开源文生图架构演进的一个新参考标准。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org