英伟达提出 DuoGen：生成连贯图文教程，连做菜步骤都能配图

如果你让现在的 AI 教你做一道清蒸鱼，它大概率能洋洋洒洒写出一整篇菜谱。但如果你让它「一步配一张图」，问题就来了：第一步里的铁锅，到了第三步可能变成了不锈钢平底锅，鱼甚至可能在第四步自己换了个品种。

图文交错生成这件事，卡壳的从来不是文笔，而是画面连续性。2026 年 1 月 31 日，英伟达发布了一篇新论文，端出了他们的解法：一个名为 DuoGen 的多模态生成模型。

简单来说，DuoGen 专门用来解决图文混排的连贯性问题。无论是在不同模态之间自如切换，还是生成一步接一步的序列化图文，它都能稳住画风和内容细节。

做菜、改装家具、教机器人干活

DuoGen 最亮眼的招式，是生成极具实用价值的连贯教程。

比如做一道家常炒饭或者清蒸鱼，它会先规划好每一步的操作逻辑，随后在每段文字说明旁边附上对应的步骤图。从下锅翻炒到出锅装盘，前后的厨具、食材状态都能保持一致。

要是让它教你做手工，比如把旧木梯改造成毛毯架，它同样能按部就班地给出风格统一的改造步骤图。此外，常规的单张图像编辑它也能做，换衣服、换背景、改表情都不在话下，不过核心亮点依然在连续步骤图上。

更有意思的是机器人领域的应用。既然它能把动作拆解成连贯的步骤，研究人员就能用它给机器人生成连贯的操作序列图。这种对「下一步」的视觉预测，能直接作为高质量的合成数据，用来训练具身智能模型。

拿视频 DiT 拼大模型，少走很多弯路

搞定这种图文混排，最难的地方在于数据匮乏和模型结构太重。英伟达这次走了一条非常聪明的捷径，没有从头硬训一个庞然大物。

在架构设计上，DuoGen 采用了拼接组合的策略。它直接借用预训练多模态大模型的视觉理解能力，让它充当规划大脑；视觉生成部分，则交给了在视频数据上预训练好的 Diffusion Transformer（DiT）。

这一招相当于直接借用了视频模型天然具备的时序连续性。在此基础上，团队采用两阶段解耦策略：先对多模态大模型进行指令微调，再用清洗过的图文混排序列把 DiT 和大模型对齐。

在数据层面，英伟达整理了一个大规模的高质量指令微调数据集。他们抓取清洗了真实的网页对话，并合成了大量覆盖日常生活场景的多模态案例。基准测试显示，DuoGen 在文本质量、图像保真度以及图文对齐度上，都明显超过了此前的开源方案。

目前该项目仅发表了技术论文，论文中提到后续会开放相关代码与数据集。

为什么重要

我们认为，DuoGen 代表了生成式 AI 从「画一张好看的图」转向「解决现实复杂任务」的关键一步。

对于内容创作者和普通开发者来说，如果后续开源落地，它能大幅降低制作高质量说明书、分步菜谱、绘本以及教育图解的门槛。过去要在不同出图工具里死磕一致性种子，以后可能只需要一句 Prompt。

更值得关注的是具身智能上下游。当前具身智能训练最大的瓶颈之一就是现实世界的操作数据太贵、太难采集。用视频架构底座来生成连贯的操作步骤图，相当于给机器人造了一个低成本的「动作推演模拟器」，这会给合成训练数据赛道带来不小的冲击。

英伟达这篇论文最聪明的地方，是没有落入盲目堆算力单模态预训练的陷阱，而是把现成的理解模型与视频生成底座巧妙拼合。它证明了图文连续性的解药或许原本就藏在视频模型里，给接下来的多模态大模型研发指了一条效率极高的新思路。