Linum 开源 Pyramid-JiT：不走 VAE，2.1 万美元训出 20 亿参数生图模型

如果有人告诉你，只要花两万多美元，就能从零训出一个生成质量不错的 20 亿参数生图模型，大部分人大概会以为这是假新闻。

但这正是只有两个人的研究实验室 Linum 最近做出来的事。他们开源了一个名为 Pyramid-JiT 的图像生成模型，模型本身有 20 亿参数，搭配一个 40 亿参数的文本编码器，整个从零训练的算力账单算下来，刚好是 2.1 万美元。

这个成本在动辄百万美元起步的生成式 AI 领域，几乎像是在白捡。

扔掉 VAE，直接在像素里画画

Pyramid-JiT 最反常识的地方，在于它没有走绝大多数生图模型的老路。

现在主流的扩散模型，基本都会先用一个独立的变分自编码器（VAE）把图片压进潜在空间，模型在潜在空间里跑扩散，最后再用 VAE 解码回正常图片。但 Linum 团队认为，VAE 不仅有压缩上限，而且在下游生成中还会拖后腿。

于是他们直接把 VAE 扔了，让扩散模型直接在像素空间里工作。也就是说，模型生成的每一步，面对的都是肉眼可见的像素图像。

为了解决像素空间计算量过大的问题，他们设计了金字塔架构。模型主干在处理过程中，会在中间层预测四分之一和二分之一分辨率的图像，提前注入梯度信号，把收敛速度提升了数倍。

他们用了 64 块 H100 显卡，先在 512 级别分辨率下跑了约 6.1 亿个样本，随后切换到 1024 分辨率微调。后训练阶段则采用了有限差分流优化等新方法，把整个算力开销严格卡在了 2.1 万美元之内。

便宜的代价是什么

从放出的测试样张来看，Pyramid-JiT 生成逼真人像、自然风光和风格化插画的效果出奇地好。但在一些特定场景下，它的小身板还是会露出破绽。

团队自己坦白，这个模型完全不认字。因为他们的最终目标是做动画工具，训练时彻底过滤掉了所有包含文字的海报、幻灯片和图书页面，所以它完全无法生成文字和海报排版。

另外，遇到全身大远景、多人群体交互或者像「六辆车」这种复杂实体计数时，模型依然容易出现肢体畸变或漏算。

不过作为开源实验，团队给得非常大方。项目在 Hugging Face 上的模型权重约 8.74GB，采用极为宽松的 Apache 2.0 许可证，不仅允许商用，而且普通消费级显卡就能轻松拉起来在本地跑。

为什么重要

对于独立开发者和小型团队来说，Pyramid-JiT 最重要的价值是打破了扩散模型的算力迷信。以前大家觉得只有大厂才玩得起端到端训练，现在 2.1 万美元的门槛，意味着任何一个几人规模的工作室，只要有好的数据流和架构设计，都能训一套专属的基底模型，非常值得想要自建生成流程的开发者拿来拆解学习。

从行业角度看，这个项目把战火引向了去 VAE 架构和像素空间生成。长期以来，行业习惯了依赖潜在空间压缩来掩盖算力短缺，但 Linum 证明了直接在像素空间优化不仅可行，还能通过多尺度特征预测拿到极高的样本利用效率。这很可能会逼着开源社区重新审视现有扩散模型的架构惯性。

我们认为，Linum 这一步走得相当聪明。这个生图模型其实只是他们研发下一代低成本视频模型 Linum v3 的概念验证。两个人的团队没有跟巨头去卷庞大的参数量，而是精准砍掉文本渲染等非核心需求，把注意力集中在推理解码的极致性价比上。尽管它现在还有不少细节硬伤，但这种用巧劲破解高算力壁垒的做法，才是小团队在生成式 AI 时代最健康的生存姿态。