上海AIラボ、画像生成・編集・全視覚理解を統合した「InternLumina-U2」をOSS公開

InternLumina-U2は、画像の生成、画像編集、そして高度な視覚理解を単一のモデルに統合したオープンソースプロジェクトだ。画像生成用の拡散モデルと視覚言語モデル（VLM）を別々に用意して連携させる必要がなく、テキスト対話、画像生成、指示に基づく画像編集、動画解析、3D資産の理解までを同じネットワーク構造と離散トークンで処理できる。

上海人工知能研究所は2026年10月、InternLumina-U2のモデル重み、ファインチューニング用コード、高速推論パイプラインをHugging FaceとGitHub上で公開した。

何ができるのか

画像生成と編集においては、写実的な写真から油絵まで幅広いスタイルを出力でき、GenEvalベンチマークでは89点を記録している。プロンプトの指示追従性が高く、「画像内のオレンジ色の立方体だけを回転させて」といった精密な編集や、既存の画像を木炭デッサン風に描き換えるといった局所的な修正を正確にこなす。

理解性能も強力だ。単に絵を描くだけのモデルではなく、複雑なER図を読み取って構造を解説したり、医療スキャン画像から病変部位を特定したり、複雑なグラフをMarkdown形式に復元したりできる。ChartQAのスコアは86.2に達する。

動画や3Dデータの入力にもネイティブで対応している。64フレームの動画を読み込んで時系列の出来事を詳細に説明できるほか、GLBやGLTF形式の3Dファイルを読み込み、バックグラウンドのBlenderで多視点レンダリングを行って立体構造を把握した上で質問に答えることが可能だ。

アーキテクチャと動作環境

理解と生成の統合モデルでは、単一コードブックによる情報量の不足や、連続表現と離散表現の分離によるパイプラインの断片化が課題だった。InternLumina-U2は完全離散のマルチコードブック手法を採用してこれを解決している。

視覚トークナイザー「AToken」を用い、各空間位置を8つの相補的な離散コードブックで記述する。入力時は8つの埋め込みを結合して1つのトークンとして骨幹ネットワークに渡し、出力時は空間方向の拡散ノイズ除去と深さ方向の自己回帰予測を組み合わせて高解像度かつ破綻のない生成を実現した。

バックボーンには、MoE型言語モデルを変換して作られたマスク拡散言語モデル「LLaDA2.0-mini」を採用している。総パラメータ数は169億（16.9B）だが、トークンごとに活性化されるのは約14億（1.4B）に抑えられている。全20層のTransformerのうち19層がMoE構造で、256個のルーティング専門家と1個の共有専門家を持ち、トークンごとに8つの専門家が動的に選ばれる仕組みだ。

推論を最大4.45倍に高速化する追加学習不要のサンプリング技術も用意されている。動作環境はPython 3.11、PyTorch 2.6、CUDA 12.4、flash-attnが必要となる。モデル重みはNVIDIA GPU向けとファーウェイAscend NPU向けの両方が公開されている。なお、Appleが公開しているATokenの重みファイルはライセンスの都合上リポジトリに含まれていないため別途ダウンロードが必要であり、3D機能の検証にはBlender 4.5のセットアップが必要となる。

なぜ重要か

画像理解と画像生成を単一アーキテクチャで完結させる試みは長年続けられてきたが、多くは外部モデルを呼び出すツール利用にとどまっていた。InternLumina-U2は、拡散MoEと離散マルチコードブックを組み合わせることで、真に両者を統合できることを実証している。

活性化パラメータが約14億と軽量であるため、高機能なマルチモーダルモデルとしては推論リソースを抑えやすい。画像の内容を正確に読み取りながら微修正を加える画像編集エージェントを開発したい層にとって、今すぐ検証する価値がある強力なベースモデルとなるだろう。依存関係のセットアップには多少の手間がかかるものの、GPUとNPUの双方をサポートした完成度の高い実装が手に入るメリットは大きい。