NVIDIA 推出 NeMo Switchyard：給智慧體配「排程員」，成本直降 74%

現在跑一個能自己幹活的 AI 智慧體，賬單往往比想像中嚇人。很多時候明明只是讓它理一下目錄結構、查兩條錯誤日誌，開發者後臺卻依然在為最昂貴的前沿模型按最高費率扣費。

NVIDIA 試圖終結這種拿大炮打蚊子的浪費，推出了開源模型路由框架 NeMo Switchyard，同時還配了一款 300 億引數的輕量混合專家模型 Nemotron 3.5 Lightning。

這個框架說白了就是智慧體的中央排程室。面對一項複雜的長任務，它不再把所有指令無腦塞給同一個大模型，而是根據當前步驟的難易程度，在模型池裡挑最划算、最合適的那一個。

不讓頂級大模型當苦力

智慧體執行任務很少是一步到位的。早期探索和最後寫測試程式碼往往機械且瑣碎，只有中間卡殼排錯時才需要頂尖的推理能力。

NeMo Switchyard 給出了兩套路由邏輯。一套是開箱即用的免調優方案，包括根據任務型別分派的 LLM 分類器、按執行步驟分流的階段路由，以及先讓小模型先跑、遇到死迴圈或連續報錯才向大模型求助的升級路由。

另一套是針對特定業務微調的 Prefill 路由。它在模型生成前直接提取殘差流訊號，預判候選模型能把任務做對的機率，再結合延遲和成本算出一個最佳價效比模型來執行。

底層架構上，它自帶了一套抽象層。它對外相容 OpenAI、Anthropic 和 Responses API 請求規範，內部給每個模型貼上語義標籤，換底座模型或換雲廠商都不需要重寫業務程式碼。

砍掉 74% 成本，頂級模型只接 7% 的活

路由方案好不好，關鍵看省下真金白銀的同時會不會讓智慧體變笨。

測試機構 LangChain 拿 145 個多輪智慧體生產級任務做了基準測試，涵蓋客服對話、故障排查和多步驟工作流。在 Nemotron 3.5 Lightning 和 Claude Opus 4.8 之間配合升級路由，實測下來把 74% 的呼叫成本直接砍掉了。

整個測試過程中，系統只把 7% 的硬骨頭請求發給了最貴的 Opus，準確率僅僅下浮了大約 6 個百分點。

開發 Devin 的 Cognition 也在桌面端驗證了這套思路。他們把 Opus 5 和 Kimi K2.7 混著用，在基準測試裡把平均單次成本降到了 3.11 美元，節約了大約 28% 的開銷，準確率只差 2.8 個百分點。

目前這套框架已經開始在生態裡鋪開，LiteLLM 和 API 閘道器 Kong 提供了外掛支援，Cadence 和西門子也在工業設計智慧體裡接入了它。

為什麼重要

對開發者和企業來說，這個工具解決的是智慧體能否真正落地的生存問題。一個常駐後臺、自主執行的智慧體一天可能跑出上萬次呼叫，如果不做分流，Token 賬單很快就會把商業模型壓垮。

行業以前習慣了追逐單體最強的全能模型，但現實情況是不同模型在程式碼、數學或格式化工具呼叫上各有偏科。NeMo Switchyard 這種多模型協作的做法，把單純拼模型引數的競爭拉回到了系統工程的賽道上。

我們認為 NVIDIA 這一步走得相當清醒。與其等所有人把頂級模型用不起而放緩智慧體落地，不如主動幫大家搭好排程閘道器，順便把自家的開源小模型塞進高頻推理的流水線裡。

不過這套方案也有自己的門檻。路由判定本身會帶來極微小的額外延遲，多模型混調對提示詞相容性的要求也更高，團隊需要花時間理清哪些步驟真的值得交給小模型試錯。