Nvidia 開源 NVLM 1.0：旗艦 72B 表現對標 GPT-4o

NVLM 1.0 是 Nvidia 推出並開源的多模態大語言模型家族，核心旗艦是擁有 720 億引數的 NVLM-D-72B。它能同時處理影像與文本輸入，在視覺理解和語言生成任務上直接對標閉源的 GPT-4o，模型權重已經公開，訓練程式碼也承諾隨後放出。

能看圖解題，還能看懂梗圖

以往想要拿到頂級視覺理解能力，開發者基本只能呼叫商業閉源 API。NVLM-D-72B 則把這種能力拉到了開源陣營。

在架構上，NVLM 引入了一種融合不同多模態處理技術的混合設計。從研究團隊公佈的示例來看，它不僅能看懂學術梗圖並解釋其中的幽默內涵，還能一步步拆解複雜的幾何與數學問題，對影像細節和複雜佈局有相當精細的捕捉能力。

在視覺與語言綜合基準測試中，NVLM-D-72B 的表現與 GPT-4o、Claude 3.5 以及 Llama 3-V 處於同一梯隊。

訓了視覺，文本能力反而漲了 4.3 分

對多模態模型來說，加入視覺訓練往往伴隨著「多模態稅」，也就是原有純文本理解和程式碼能力的退步。但 NVLM-D-72B 反其道而行之。

在經過多模態訓練後，它的純文本基準測試準確率不僅沒有下滑，反而平均提升了 4.3 個百分點。其在純文本數學和程式設計任務上的進步尤其明顯，有 AI 研究者在社交平臺上評價，這個 72B 尺寸的模型在數學和程式碼評測上幾乎逼近了 405B 的 Llama 3.1，同時還完整保留了視覺能力。

目前 NVLM 1.0 的論文已在 arXiv 上線，權重已經向公眾開放，官方也承諾會公開完整的訓練程式碼。

為什麼重要

如果你的團隊正在尋找可以私有化部署、需要兼顧圖文解析與高難度程式碼生成的開源大模型，NVLM-D-72B 是目前非常值得上機實測的選項。72B 的體量在多卡工作站或私有云伺服器上具備實際落地的可行性，不用再被迫忍受閉源 API 的資料合規風險。

對開源生態來說，Nvidia 這次直接公開權重且承諾放程式碼，給整個多模態開源領域樹立了很高的基準。以往 70B 級別模型很難兼顧多模態與極致的邏輯推理，而 NVLM 證明了多模態訓練完全可以反哺純文本能力，接下來的壓力顯然轉移到了其他模型廠商身上。