NVIDIA 推出 NeMo Switchyard：给智能体配「调度员」，成本直降 74%

现在跑一个能自己干活的 AI 智能体，账单往往比想象中吓人。很多时候明明只是让它理一下目录结构、查两条错误日志，开发者后台却依然在为最昂贵的前沿模型按最高费率扣费。

NVIDIA 试图终结这种拿大炮打蚊子的浪费，推出了开源模型路由框架 NeMo Switchyard，同时还配了一款 300 亿参数的轻量混合专家模型 Nemotron 3.5 Lightning。

这个框架说白了就是智能体的中央调度室。面对一项复杂的长任务，它不再把所有指令无脑塞给同一个大模型，而是根据当前步骤的难易程度，在模型池里挑最划算、最合适的那一个。

不让顶级大模型当苦力

智能体执行任务很少是一步到位的。早期探索和最后写测试代码往往机械且琐碎，只有中间卡壳排错时才需要顶尖的推理能力。

NeMo Switchyard 给出了两套路由逻辑。一套是开箱即用的免调优方案，包括根据任务类型分派的 LLM 分类器、按执行步骤分流的阶段路由，以及先让小模型先跑、遇到死循环或连续报错才向大模型求助的升级路由。

另一套是针对特定业务微调的 Prefill 路由。它在模型生成前直接提取残差流信号，预判候选模型能把任务做对的概率，再结合延迟和成本算出一个最佳性价比模型来执行。

底层架构上，它自带了一套抽象层。它对外兼容 OpenAI、Anthropic 和 Responses API 请求规范，内部给每个模型贴上语义标签，换底座模型或换云厂商都不需要重写业务代码。

砍掉 74% 成本，顶级模型只接 7% 的活

路由方案好不好，关键看省下真金白银的同时会不会让智能体变笨。

测试机构 LangChain 拿 145 个多轮智能体生产级任务做了基准测试，涵盖客服对话、故障排查和多步骤工作流。在 Nemotron 3.5 Lightning 和 Claude Opus 4.8 之间配合升级路由，实测下来把 74% 的调用成本直接砍掉了。

整个测试过程中，系统只把 7% 的硬骨头请求发给了最贵的 Opus，准确率仅仅下浮了大约 6 个百分点。

开发 Devin 的 Cognition 也在桌面端验证了这套思路。他们把 Opus 5 和 Kimi K2.7 混着用，在基准测试里把平均单次成本降到了 3.11 美元，节约了大约 28% 的开销，准确率只差 2.8 个百分点。

目前这套框架已经开始在生态里铺开，LiteLLM 和 API 网关 Kong 提供了插件支持，Cadence 和西门子也在工业设计智能体里接入了它。

为什么重要

对开发者和企业来说，这个工具解决的是智能体能否真正落地的生存问题。一个常驻后台、自主运行的智能体一天可能跑出上万次调用，如果不做分流，Token 账单很快就会把商业模型压垮。

行业以前习惯了追逐单体最强的全能模型，但现实情况是不同模型在代码、数学或格式化工具调用上各有偏科。NeMo Switchyard 这种多模型协作的做法，把单纯拼模型参数的竞争拉回到了系统工程的赛道上。

我们认为 NVIDIA 这一步走得相当清醒。与其等所有人把顶级模型用不起而放缓智能体落地，不如主动帮大家搭好调度网关，顺便把自家的开源小模型塞进高频推理的流水线里。

不过这套方案也有自己的门槛。路由判定本身会带来极微小的额外延迟，多模型混调对提示词兼容性的要求也更高，团队需要花时间理清哪些步骤真的值得交给小模型试错。