跳到正文
IFAI

开源项目

Vivago AI 开源 HiDream-O1 Image:干掉 VAE,搞定 2K 文字与海报排版

首次发布 传播指数 48

Vivago AI 开源图像生成模型 HiDream-O1 Image,直接在像素空间端到端处理,去掉了传统的 VAE 架构。它最高支持 2048×2048 分辨率,不仅能做语义级编辑,还攻克了开源模型最头疼的文字渲染和复杂海报排版。模型提供完整版和轻量 dev 版,但 32GB 的体积对本地显存提出了较高要求。

Vivago AI 开源 HiDream-O1 Image:干掉 VAE,搞定 2K 文字与海报排版
图:arxiv.org

HiDream-O1 Image 是 Vivago AI 开源的端到端图像生成模型,专攻高精度文字渲染、复杂信息图排版以及 2K 分辨率商业海报生成。

如果你经常被开源生图模型画出来的乱码文字、扭曲排版折磨,这个模型就是冲着这些痛点来的。它不仅支持写实与多种艺术风格,最高能直接输出 2048×2048 分辨率,还能稳定生成多面板画面、直播间背景和带大量文字的复杂海报,并在画面前后保持产品与排版的一致性。

它还具备类似语义编辑的多图参考能力。你可以一次把一张人物图和多件物品参考图扔进提示词,让它们自然出现在同一张画面里;或者喂给它四张不同的人脸,精确指定每个人物出现在画面的特定位置。不过从实测反馈看,它在部分场景下渲染的人脸偶尔会带有一点塑料感。

它是怎么做到的,需要什么硬件

传统文生图模型通常严重依赖外部组件,先用独立的文本编码器解析词句,再靠 VAE 在像素空间和潜在空间之间倒腾。HiDream-O1 Image 彻底去掉了 VAE 和独立的文本编码器,采用统一的 UiT 架构,直接把原始像素和文本映射到同一个共享空间里进行端到端推理。

这种机制让模型具备了更强的上下文理解与排版推理能力。根据论文披露,仅 8B 参数的 HiDream-O1 Image 就能在各项基准上追平甚至超越 27B 的 Qwen-Image 以及 Zimage Turbo,平均表现也胜过部分闭源模型。在 Artificial Analysis 独立榜单上,业内普遍推测排在第八名、紧咬一众闭源旗舰的神秘模型 Peanut 就是它。

目前官方发布了两个版本,基础版本需要 50 个推理步数,耗时较长但能榨出最好的画面细节;dev 版本只需要 28 步推理,生成更快,画质会稍做妥协。

硬件门槛是它目前最大的短板。两个版本的模型权重体积都达到了 32GB,需要显存极高的高端 GPU 才能本地跑起来。普通开发者现阶段很难在消费级单卡上部署,得等待社区后续推出 GGUF 和各种量化版本。

为什么重要

对从事电商设计、信息图表制作和自媒体排版的团队来说,HiDream-O1 Image 非常值得关注。它把开源模型最容易露怯的文字渲染和精准构图拉到了商业可用线,能大幅减少后期手动修字和重新拼版的工作量。

从架构上看,它干掉 VAE、直接在像素空间做端到端生成的做法很有启发性。它证明了不需要拼装复杂的模块化管道,单一统一架构在 8B 尺寸下就能越级挑战更大体量的对手,为接下来的开源多模态模型指了一条更干净、更易扩展的路。

来源 (1)

  1. [1]

每日 AI 内容精选