NVIDIA 開源 Nemotron 3 Embed：8B 模型登頂 RTEB，專治智慧體檢索低效

NVIDIA 的 Nemotron 3 Embed 是一套面向生產級 RAG 和智慧體檢索的開源商用嵌入模型家族。它一共包含三個版本：一個拿下 RTEB 多語言榜單第一的 8B 旗艦，以及兩個主打低延遲和高吞吐的 1.14B 輕量版本。

這套模型的核心目的，就是解決多步智慧體流程裡檢索精度差導致的額外開銷。一旦檢索出無關上下文，智慧體就必須反覆重新查詢、增加多餘的思考輪次，不僅浪費 token 預算，還會把噪音帶進後續的推理流程。

它能做什麼

全系三個模型均原生支援 32k 上下文視窗，能直接處理長篇企業文件、大型程式碼倉庫的跨檔案檢索以及多輪智慧體歷史互動，減少資訊截斷。

模型輸入格式非常清晰，使用標準 Mean 池化，只需在輸入前加上 query: 或 document: 字首即可。除了通用文本，它對程式碼檢索和多語言企業資料也做了專門支援。

效能方面，8B 版本的 RTEB 得分為 78.5%，MMTEB Retrieval 得分為 75.5%，直接拿下榜首。即使是 1.14B 的 BF16 輕量版本，RTEB 得分也有 72.4%，相比上一代 1B 模型錯誤率降低了 27%。

評估顯示，更精準的檢索能讓下游搜尋智慧體更早命中關鍵證據。在 ViDoRe V3 和 BRIGHT 等測試中，使用該系列嵌入模型直接降低了下游智慧體的多輪推理輪次與 token 成本。

怎麼做到的

這套模型並非從小規模從頭訓練，而是借力成熟底座與多輪精煉。

8B 旗艦版以 Ministral-3-8B-Instruct-2512 為底座，將其因果解碼器改造成適合全序列檢索的雙向編碼器。隨後經過對比預訓練，並在法律、金融、醫療、商業等高門檻領域的精選多語言資料集上完成精調。

1.14B 版本則走了一條精細的剪枝與蒸餾路線。團隊先基於 Ministral-3-3B 構建雙向底座，用 NVIDIA ModelOpt 的神經架構搜尋在隱藏層寬度、注意力頭和深度上進行結構化剪枝，壓縮至 2B 中間模型。

接著用 8B 教師模型對該中間版本進行蒸餾，校準餘弦距離與均方誤差；之後再重複一遍剪枝與蒸餾，最終壓出 1.14B 規格，並通過兩階段漸進式訓練把上下文擴充套件至長文本。

針對硬體加速，NVIDIA 專門打造了 1B-NVFP4 變體。它針對 Blackwell 架構進行了原生 4 位量化與量化感知蒸餾，在保留 BF16 版本 99% 以上精度的同時，吞吐量提升最高可達 2 倍。

怎麼跑起來

目前全部模型的權重、訓練資料集和微調配方均已在 Hugging Face 開源，並允許商用。

在部署方面，程式碼已經適配 vLLM 推理框架，官方還同步提供了基於 Rust 的 NVIDIA NIM 微服務。對於想基於私有行業資料二次最佳化的團隊，NVIDIA NeMo AutoModel 也放出了完整的微調和蒸餾配方。

硬體搭配上，對精度要求極高的企業 RAG 可以直接使用 8B-BF16，跑在常規通用 GPU 上即可。1.14B-BF16 則能在低延遲 CPU 或主流消費級顯示卡上快速部署。如果你手頭有 Blackwell 或 GB200 硬體，切換到 NVFP4 版本能最大限度降低視訊記憶體佔用並拉滿吞吐。

為什麼重要

如果你正在搭建企業級知識庫、程式碼搜尋助手或者多步自主智慧體，這套模型非常值得現在接入測試。在整個智慧體系統裡，提升檢索精度往往比換用更貴的生成模型划算得多，因為它能從源頭上掐斷智慧體反覆搜尋和發散推理帶來的額外 token 消耗。

我們認為 NVIDIA 這次的產品劃分非常聰明。8B 負責在權威榜單上拿第一樹立質量標杆，兩款 1B 模型則負責解決高併發生產環境下的成本與延遲痛點。雖然 NVFP4 的極致加速需要繫結 Blackwell 硬體，但對於絕大多數開發者來說，標準的 1.14B BF16 已經在通用硬體上提供了極其紮實的價效比。