NVIDIAが「DuoGen」発表：一貫した手順つき画像・テキストを連続生成

AIに料理の作り方を尋ねると、テキストの手順はすらすらと答えてくれます。しかし「手順ごとに写真を添えて」と頼んだ途端、フライパンの形が変わったり、魚の切り身が突然別の魚に化けたりと、画像の整合性は崩壊しがちでした。

この「画像とテキストが交互に並ぶ一連の手順（インターリーブ生成）」における一貫性の問題に対し、NVIDIAが新たな回答を提示しました。2026年1月31日に公開された論文で紹介されたマルチモーダルモデル「DuoGen」です。

テキストと画像を自動で切り替えながら、前後の文脈やビジュアルスタイルを破綻させずに一連のステップを生成できるのが最大の特徴です。

料理レシピからロボットの動作予測まで

DuoGenが本領を発揮するのは、具体的な作業手順を解説するシーンです。

例えば炒飯や蒸し魚の作り方を指示すると、各調理フェーズを論理的に整理したうえで、説明文とそれに合致したステップ画像を連続して出力します。木製のはしごをブランケットラックにリメイクするDIYの手順でも、同じ部屋・同じ道具のトーンを維持したままガイドを作成できます。

服の着せ替えや背景の差し替え、表情の変更といった単一画像の編集機能も備えていますが、真価はあくまで「連続した手順の一貫性」にあります。

さらに興味深いのがロボット工学への応用です。動作の連続的なステップを画像として予測・生成できるため、ロボットが「次にどう動くべきか」を学ぶためのシミュレーション画像や、合成訓練データの生成ツールとしても活用が見込まれています。

ビデオDiTとマルチモーダルLLMのスマートな融合

こうした一貫性のある連続生成は、学習データの不足と膨大な計算コストが常に課題でした。NVIDIAはその解決アプローチも極めて合理的です。

ゼロから巨大な単一モデルを事前学習するのではなく、既存の強みを組み合わせる設計を採用しました。全体の理解と論理展開には事前学習済みのマルチモーダルLLM（MLLM）を使い、画像生成部分にはあらかじめ動画生成で学習させたDiffusion Transformer（DiT）をドッキングさせています。

動画生成モデルが本来持っている「時間的な連続性を維持する能力」を、静止画の連続ステップ生成に応用したわけです。学習は2段階に分けられ、MLLMの指示チューニングを行った後、厳選した画像・テキスト混在シーケンスを用いてDiTとアライメントを行っています。

公開ベンチマークにおいて、DuoGenはテキスト品質や画像の忠実度、文脈との一致度で既存のオープンソースモデルを上回ったと報告されています。現在は技術論文のみの公開ですが、コードとデータセットの公開も予定されています。

なぜ重要か

DuoGenの登場は、画像生成AIが「単なる一枚絵の作成」から「現実世界のタスクを支援する実用ツール」へと前進したことを示しています。

マニュアル作成や教育コンテンツ、レシピサイトなどの制作現場では、これまで画像の見た目を揃えるために膨大なプロンプト調整や手作業の修正が必要でした。DuoGenのようなモデルが実用化されれば、一連の解説図を一括で矛盾なく生成できるようになります。

また、フィジカルAIやロボティクス領域にとっても追い風です。現実世界の動作データの収集コストがボトルネックとなるなか、動画DiTをベースにした連続ステップ生成は、高精度な合成データを自前で量産する有力な手段になり得ます。

すべてを力任せに事前学習するのではなく、動画生成モデルの強みを手順図の生成に転用したNVIDIAのアーキテクチャ設計は極めてクレバーです。今後のマルチモーダル基盤モデル開発において、効率的で現実的な道筋を示したと言えます。