本文へスキップ
IFAI

オープンソース

Vivago AIがHiDream-O1 Imageをオープンソース公開:VAE不要で2K文字ポスターを高精度描画

公開 拡散指数 48

Vivago AIがオープンソースの画像生成モデル「HiDream-O1 Image」を公開した。従来のVAEを排除し、ピクセル空間で直接処理するエンドツーエンド構造を採用。最大2K解像度に対応し、オープンモデルが苦手だった文字描画や複雑なポスターレイアウトを高い精度でこなす。モデルサイズは32GBと大きく、動作には高性能GPUが必要となる。

Vivago AIがHiDream-O1 Imageをオープンソース公開:VAE不要で2K文字ポスターを高精度描画
画像:arxiv.org

HiDream-O1 Imageは、Vivago AIが公開したオープンソースの画像生成モデルだ。正確な文字レンダリングや複雑なインフォグラフィック、2K解像度のポスター制作に特化している。

従来のオープンモデルは、画像内の文字が崩れたり複雑なレイアウトが破綻したりしがちだった。HiDream-O1 Imageは最大2048×2048の解像度に対応し、マルチパネル構成や文字が密集した販促ポスターでも、テキストと商品のディテールを崩さずに高精度で描き分ける。

複数の参照画像を組み合わせた指示編集にも対応している。人物と複数のアイテム画像を同時に入力して1枚の自然なシーンにまとめたり、指定した4人の顔を画面内の狙った位置に配置したりできる。ただし、実写人物の肌感が場面によってややプラスチック調になる弱点もある。

仕組みと必要なスペック

従来の画像生成モデルは、個別のテキストエンコーダとVAEを使って画像を潜在空間へ圧縮・復元する多段構成が一般的だった。HiDream-O1 ImageはVAEと独立したテキストエンコーダを廃止し、UiT(Unified Transformer)と呼ばれるアーキテクチャを採用した。生のピクセルとテキストを同一のトークン空間に直接展開し、エンドツーエンドで推論を行う。

このピクセル直接処理により、文字認識や構図の整合性が大幅に向上した。論文によると、8BパラメータのHiDream-O1 Imageは、27B規模のQwen-ImageやZimage Turboと同等以上の性能を発揮する。Artificial Analysisのベンチマークで8位につける謎の有力モデル「Peanut」の正体も、このモデルだとみられている。

モデルは2種類用意されている。50ステップで最高画質を狙うベース版と、28ステップに短縮して処理速度を優先したdev版だ。

ただし動作ハードルは高い。重みファイルのサイズは32GBあり、ローカル環境で動かすには大容量VRAMを搭載したハイエンドGPUが不可欠となる。一般の開発者が手元のPCで試すには、コミュニティによる量子化版やGGUFの登場を待つのが現実的だ。

なぜ重要か

ECサイトのバナー制作やインフォグラフィック作成を行うクリエイターにとって、手動の文字入れやコラージュ作業を大幅に減らせる実用モデルとして注目に値する。これまで商用利用でネックだった文字潰れの課題を、オープンモデルでありながら高い水準でクリアしている。

VAEを排除してピクセル空間で直接推論するアプローチも技術的な示唆が大きい。複雑な外部モジュールを重ねなくても、8Bという比較的小さなパラメータで巨大モデルに匹敵する表現力を出せることを実証した。今後のオープンソース系マルチモーダル開発に大きな弾みをつける一手だ。

情報源 (1)

  1. [1]

毎日のAIピックアップ