SenseTimeが「SenseNova U1」をオープンソース公開、画像とテキストを単一モデルで統合生成

テキスト入りのポスターや図解画像をAIで作ろうとすると、これまでは視覚エンコーダ、言語モデル、画像生成モデルを複雑に連結するパイプラインが必要でした。工程が増えるほど、途中で文字が崩れたりレイアウトが破綻したりする問題がつきまといます。

SenseTimeは4月29日、画像理解・推論・生成を単一フレームワークで完結させる統合マルチモーダルモデル「SenseNova U1」をオープンソース公開しました。

視覚エンコーダを完全に排除した新設計

従来のマルチモーダルモデルは、別個の視覚エンコーダ（VE）と大規模言語モデルをアダプタで繋ぐモジュール結合型が主流でした。この方式は情報の受け渡しでロスが生じ、計算コストもかさみます。

SenseNova U1は、3月に発表された同社独自の「NEO-Unify」アーキテクチャを採用しています。視覚エンコーダだけでなく変分自己符号化器（VAE）も完全に排除し、ピクセルとテキストを同一の統合表現空間でエンドツーエンドに処理します。

今回公開されたのは軽量版のSenseNova U1 Liteシリーズで、高密度バックボーンを採用した「U1-8B-MoT」と、Mixture of Experts（MoE）構造の「U1-A3B-MoT」の2種類が用意されています。

複雑な図解には強いが、写実ポートレートには課題

この統合設計の恩恵が最も現れているのが、テキスト混じりの複雑なレイアウト生成です。複数のパネルや大量の文字を含むポスター、中国語の手順付きジュースレシピといったインフォグラフィックを破綻なく描画でき、市販のトップクラス閉源モデルに匹敵する精度を見せます。

また、単一のモデル呼び出しで説明文と画像を交互に出力する「連続的な画像・テキスト創作」を業界で初めて実現しました。

視覚的なパズル解決や空間推論のベンチマークにおいても、SenseNova U1はNano BananaやGPT image 2、さらにはQwen 3.5やGoogle Gemma 4などのオープンモデルを上回るスコアを記録しています。

一方で明確な弱点もあります。写実的な人物ポートレートを生成させると、肌の質感がプラスチックのように不自然になりがちです。純粋な写実性を求めるなら、Flux KleinやZimageといった特化型ツールのほうが優れています。また、衣服の色の変更やアニメ調への変換といった単純な編集機能は、既存のツール群と比べて突出した強みとは言えません。

なぜ重要か

私たちは、SenseNova U1が「複数のパーツを継ぎ接ぎするマルチモーダル」からの脱却をオープンソースで実証した点に大きな価値があると考えています。

マニュアル作成や教材、マーケティング資料など、文字と図解が一体となったコンテンツを自動化したい開発者にとって、8Bクラスのコンパクトな単一モデルでこれらを一括生成できるメリットは絶大です。複数のモデルを連携させるグルーコードや推論インフラの維持コストを大幅に削ることができます。

業界全体にとっても、8B規模の軽量モデルが独自のネイティブ統合表現によって大手商用モデルと渡り合えることを示した意味は小さくありません。さらに認識・推論・生成を1つにまとめるアプローチは、将来の身体性AI（ロボティクス）にとっても理想的な足がかりとなります。

写実人物のプラスチック感に見られるように、抽象的なレイアウト能力と微細なテクスチャ再現の両立にはまだ課題が残っています。それでも、実用的なインフォグラフィックと論理推論に振り切った今回の設計は、小型モデルの新たな可能性を切り拓いています。