跳到正文
IFAI

開源專案

Vivago AI 開源 HiDream-O1 Image:幹掉 VAE,搞定 2K 文字與海報排版

首次發布 傳播指數 48

Vivago AI 開源影像生成模型 HiDream-O1 Image,直接在畫素空間端到端處理,去掉了傳統的 VAE 架構。它最高支援 2048×2048 解析度,不僅能做語義級編輯,還攻克了開源模型最頭疼的文字渲染和複雜海報排版。模型提供完整版和輕量 dev 版,但 32GB 的體積對本地視訊記憶體提出了較高要求。

Vivago AI 開源 HiDream-O1 Image:幹掉 VAE,搞定 2K 文字與海報排版
圖:arxiv.org

HiDream-O1 Image 是 Vivago AI 開源的端到端影像生成模型,專攻高精度文字渲染、複雜資訊圖排版以及 2K 解析度商業海報生成。

如果你經常被開源生圖模型畫出來的亂碼文字、扭曲排版折磨,這個模型就是衝著這些痛點來的。它不僅支援寫實與多種藝術風格,最高能直接輸出 2048×2048 解析度,還能穩定生成多面板畫面、直播間背景和帶大量文字的複雜海報,並在畫面前後保持產品與排版的一致性。

它還具備類似語義編輯的多圖參考能力。你可以一次把一張人物圖和多件物品參考圖扔進提示詞,讓它們自然出現在同一張畫面裡;或者餵給它四張不同的人臉,精確指定每個人物出現在畫面的特定位置。不過從實測反饋看,它在部分場景下渲染的人臉偶爾會帶有一點塑膠感。

它是怎麼做到的,需要什麼硬體

傳統文生圖模型通常嚴重依賴外部元件,先用獨立的文本編碼器解析詞句,再靠 VAE 在畫素空間和潛在空間之間倒騰。HiDream-O1 Image 徹底去掉了 VAE 和獨立的文本編碼器,採用統一的 UiT 架構,直接把原始畫素和文本對映到同一個共享空間裡進行端到端推理。

這種機制讓模型具備了更強的上下文理解與排版推理能力。根據論文披露,僅 8B 引數的 HiDream-O1 Image 就能在各項基準上追平甚至超越 27B 的 Qwen-Image 以及 Zimage Turbo,平均表現也勝過部分閉源模型。在 Artificial Analysis 獨立榜單上,業內普遍推測排在第八名、緊咬一眾閉源旗艦的神秘模型 Peanut 就是它。

目前官方釋出了兩個版本,基礎版本需要 50 個推理步數,耗時較長但能榨出最好的畫面細節;dev 版本只需要 28 步推理,生成更快,畫質會稍做妥協。

硬體門檻是它目前最大的短板。兩個版本的模型權重體積都達到了 32GB,需要視訊記憶體極高的高階 GPU 才能本地跑起來。普通開發者現階段很難在消費級單卡上部署,得等待社群後續推出 GGUF 和各種量化版本。

為什麼重要

對從事電商設計、資訊圖表製作和自媒體排版的團隊來說,HiDream-O1 Image 非常值得關注。它把開源模型最容易露怯的文字渲染和精準構圖拉到了商業可用線,能大幅減少後期手動修字和重新拼版的工作量。

從架構上看,它幹掉 VAE、直接在畫素空間做端到端生成的做法很有啟發性。它證明了不需要拼裝複雜的模組化管道,單一統一架構在 8B 尺寸下就能越級挑戰更大體量的對手,為接下來的開源多模態模型指了一條更乾淨、更易擴充套件的路。

來源 (1)

  1. [1]

每日 AI 內容精選