上海 AI Lab 开源 InternLumina-U2：生图、编辑与全视觉理解全包了

InternLumina-U2 把图像生成、图像编辑和多种模态的视觉理解塞进了一个模型里。不用在文生图扩散模型和视觉大语言模型之间来回切换，文本问答、生图、指令修图、看视频以及分析 3D 资产，走的全是同一套网络骨架和统一的离散 Token 接口。

上海人工智能实验室在 2026 年 10 月把它的模型权重、微调训练代码和推理加速方案全部公开到了 Hugging Face 和 GitHub 上。

它能做什么

生图和编辑方面，它能按照文本生成不同风格的作品，包含真实照片和油画等，在基准测试 GenEval 上拿到了 89 分。更重要的是它对指令的理解很精准，比如要求它「只旋转图中的橙色方块」或者将指定画面转为素描风格，它能直接在原图基础上进行局部增删或形变，而不需要额外的插件配合。

多模态理解方面，它并不是一个单纯画画的扩散模型，底子依然是个视觉语言模型。输入一张复杂的 ER 架构图或者图表，它能提取信息并总结回答，ChartQA 得分为 86.2；给它一张医学扫描图，它能指出异常病灶；给它一幅名画，它能认出作者是谁。

它甚至原生支持动态内容与空间资产。传入一段 64 帧的视频，它可以从头到尾进行细致描述；给它一个 GLB 或 GLTF 格式的 3D 文件，它会借助后台渲染多视角投影并完成空间层面的问答。

怎么做到的与硬件规格

以往把理解和生成合二为一的模型，要么因为单个视觉码本容纳的信息太少导致细节模糊，要么把理解和生成拆成两套表征。InternLumina-U2 采用了一种完全离散的多码本方案。

它借助 AToken 视觉分词器，在每个视觉空间位置使用 8 个互补的离散码本来记录纹理、文本和高频细节。输入时，这 8 个码本的嵌入向量被拼接并映射为骨干网络中的单个 Token；输出时，骨干网络先在空间上并行扩散去噪，再由多码本自回归头逐层预测这 8 个离散编码。

模型的语言底座是 LLaDA2.0-mini，由自回归 MoE 模型改造而来的掩码扩散语言模型。总参数量为 169 亿，但通过稀疏路由，每个 Token 激活的参数只有约 14 亿。全模型共 20 层 Transformer，除第一层为密集前馈网络外，其余 19 层均为 MoE 层，每层包含 256 个路由专家和 1 个共享专家，每次激活其中的 8 个。

推理速度上，它带有一个免训练的高原采样加速机制，通过置信度引导和漂移缓存刷新，把图像生成速度加快了 4.45 倍。

想自己跑起来，需要 Python 3.11、PyTorch 2.6 和 CUDA 12.4 环境，同时必须安装 flash-attn。官方针对 NVIDIA GPU 和华为昇腾 NPU 分别放出了对应的权重分支。需要留意的是，用于视觉编解码的 AToken 权重来自苹果的开源项目，因为许可原因未打包在主仓库中，运行前需要单独下载放到指定路径；测试 3D 问答则需要运行自带脚本安装 Blender 4.5。

为什么重要

把图像生成和图文理解真正融进一套底座，是很多多模态研究想做但一直做不顺的事。过去大多数做法是让语言模型当指挥官，外面挂一个 SD 或 Flux，模型并没有真正「看懂」自己画的东西。

InternLumina-U2 证明了扩散大模型配合多码本离散表征完全走得通，而且依靠 MoE 架构把每次计算的激活参数压到了 14 亿左右，普通开发者也能跑得动。如果你正在做需要同时兼顾识图与精细修改的视觉 Agent，这个项目非常值得拿来微调和测试；它的部署链路相对常规纯文本模型复杂一些，尤其是外部分词器和依赖项较多，但作为软硬件双生态落地的全栈开源范本，这套方案给多模态统一架构指了一条很清晰的路径。