Nvidia 开源 NVLM 1.0：旗舰 72B 表现对标 GPT-4o

NVLM 1.0 是 Nvidia 推出并开源的多模态大语言模型家族，核心旗舰是拥有 720 亿参数的 NVLM-D-72B。它能同时处理图像与文本输入，在视觉理解和语言生成任务上直接对标闭源的 GPT-4o，模型权重已经公开，训练代码也承诺随后放出。

能看图解题，还能看懂梗图

以往想要拿到顶级视觉理解能力，开发者基本只能调用商业闭源 API。NVLM-D-72B 则把这种能力拉到了开源阵营。

在架构上，NVLM 引入了一种融合不同多模态处理技术的混合设计。从研究团队公布的示例来看，它不仅能看懂学术梗图并解释其中的幽默内涵，还能一步步拆解复杂的几何与数学问题，对图像细节和复杂布局有相当精细的捕捉能力。

在视觉与语言综合基准测试中，NVLM-D-72B 的表现与 GPT-4o、Claude 3.5 以及 Llama 3-V 处于同一梯队。

训了视觉，文本能力反而涨了 4.3 分

对多模态模型来说，加入视觉训练往往伴随着「多模态税」，也就是原有纯文本理解和代码能力的退步。但 NVLM-D-72B 反其道而行之。

在经过多模态训练后，它的纯文本基准测试准确率不仅没有下滑，反而平均提升了 4.3 个百分点。其在纯文本数学和编程任务上的进步尤其明显，有 AI 研究者在社交平台上评价，这个 72B 尺寸的模型在数学和代码评测上几乎逼近了 405B 的 Llama 3.1，同时还完整保留了视觉能力。

目前 NVLM 1.0 的论文已在 arXiv 上线，权重已经向公众开放，官方也承诺会公开完整的训练代码。

为什么重要

如果你的团队正在寻找可以私有化部署、需要兼顾图文解析与高难度代码生成的开源大模型，NVLM-D-72B 是目前非常值得上机实测的选项。72B 的体量在多卡工作站或私有云服务器上具备实际落地的可行性，不用再被迫忍受闭源 API 的数据合规风险。

对开源生态来说，Nvidia 这次直接公开权重且承诺放代码，给整个多模态开源领域树立了很高的基准。以往 70B 级别模型很难兼顾多模态与极致的逻辑推理，而 NVLM 证明了多模态训练完全可以反哺纯文本能力，接下来的压力显然转移到了其他模型厂商身上。