輝達提出 DuoGen：生成連貫圖文教程，連做菜步驟都能配圖

如果你讓現在的 AI 教你做一道清蒸魚，它大機率能洋洋灑灑寫出一整篇菜譜。但如果你讓它「一步配一張圖」，問題就來了：第一步裡的鐵鍋，到了第三步可能變成了不鏽鋼平底鍋，魚甚至可能在第四步自己換了個品種。

圖文交錯生成這件事，卡殼的從來不是文筆，而是畫面連續性。2026 年 1 月 31 日，輝達釋出了一篇新論文，端出了他們的解法：一個名為 DuoGen 的多模態生成模型。

簡單來說，DuoGen 專門用來解決圖文混排的連貫性問題。無論是在不同模態之間自如切換，還是生成一步接一步的序列化圖文，它都能穩住畫風和內容細節。

做菜、改裝傢俱、教機器人幹活

DuoGen 最亮眼的招式，是生成極具實用價值的連貫教程。

比如做一道家常炒飯或者清蒸魚，它會先規劃好每一步的操作邏輯，隨後在每段文字說明旁邊附上對應的步驟圖。從下鍋翻炒到出鍋裝盤，前後的廚具、食材狀態都能保持一致。

要是讓它教你做手工，比如把舊木梯改造成毛毯架，它同樣能按部就班地給出風格統一的改造步驟圖。此外，常規的單張影像編輯它也能做，換衣服、換背景、改表情都不在話下，不過核心亮點依然在連續步驟圖上。

更有意思的是機器人領域的應用。既然它能把動作拆解成連貫的步驟，研究人員就能用它給機器人生成連貫的操作序列圖。這種對「下一步」的視覺預測，能直接作為高質量的合成數據，用來訓練具身智慧模型。

拿影片 DiT 拼大模型，少走很多彎路

搞定這種圖文混排，最難的地方在於資料匱乏和模型結構太重。輝達這次走了一條非常聰明的捷徑，沒有從頭硬訓一個龐然大物。

在架構設計上，DuoGen 採用了拼接組合的策略。它直接借用預訓練多模態大模型的視覺理解能力，讓它充當規劃大腦；視覺生成部分，則交給了在影片資料上預訓練好的 Diffusion Transformer（DiT）。

這一招相當於直接借用了影片模型天然具備的時序連續性。在此基礎上，團隊採用兩階段解耦策略：先對多模態大模型進行指令微調，再用清洗過的圖文混排序列把 DiT 和大模型對齊。

在資料層面，輝達整理了一個大規模的高質量指令微調資料集。他們抓取清洗了真實的網頁對話，併合成了大量覆蓋日常生活場景的多模態案例。基準測試顯示，DuoGen 在文本質量、影像保真度以及圖文對齊度上，都明顯超過了此前的開源方案。

目前該專案僅發表了技術論文，論文中提到後續會開放相關程式碼與資料集。

為什麼重要

我們認為，DuoGen 代表了生成式 AI 從「畫一張好看的圖」轉向「解決現實複雜任務」的關鍵一步。

對於內容創作者和普通開發者來說，如果後續開源落地，它能大幅降低製作高質量說明書、分步菜譜、繪本以及教育圖解的門檻。過去要在不同出圖工具裡死磕一致性種子，以後可能只需要一句 Prompt。

更值得關注的是具身智慧上下游。當前具身智慧訓練最大的瓶頸之一就是現實世界的運算元據太貴、太難採集。用影片架構底座來生成連貫的操作步驟圖，相當於給機器人造了一個低成本的「動作推演模擬器」，這會給合成訓練資料賽道帶來不小的衝擊。

輝達這篇論文最聰明的地方，是沒有落入盲目堆算力單模態預訓練的陷阱，而是把現成的理解模型與影片生成底座巧妙拼合。它證明了圖文連續性的解藥或許原本就藏在影片模型裡，給接下來的多模態大模型研發指了一條效率極高的新思路。