微软 Windows ML 正式商用：端侧 AI 跨芯片推理，体积省几百兆

以前想在 Windows 软件里塞进一个本地 AI 功能，过程往往让人头疼：你得先搞清楚用户的电脑装的是英伟达显卡、英特尔核显还是高通的 NPU，再把各家几十上百兆的运行库一股脑打包进安装包里，安装包体积暴涨不说，出了兼容性 bug 往往还得开发者自己扛。

微软宣布 Windows ML 结束预览，正式商用上线（GA）。这个在今年 Build 大会上首次亮相的内置 AI 推理运行时，终于正式向所有开发者开放，要在操作系统底层抹平不同硬件之间的差异。

帮安装包瘦身，顺便把各家芯片拉到一张桌上

简单来说，Windows ML 充当了硬件和应用之间的抽象层。它底层兼容 ONNX Runtime，开发者可以用熟悉的接口写代码，模型格式也直接沿用成熟的 ONNX。哪怕你手里只有 PyTorch 模型，也能用 VS Code 里的 AI Toolkit 完成转换和优化。

以前最头疼的芯片适配，现在全交给了微软口中的执行提供程序（Execution Providers，简称 EP）。各家芯片厂商自己维护专属的 EP，而微软负责由 Windows 系统直接向终端分发和维护这些组件。开发者再也不用把庞大的运行时打包进应用里，光是这一项，就能给客户端软件省下几十到数百兆的空间。

更有意思的是各大芯片巨头的站队。AMD 拿出了适配锐龙 AI 平台的 Vitis AI EP，打通了 NPU、GPU 和 CPU；英特尔整合了 OpenVINO 框架，面向酷睿 Ultra 系列优化；高通针对骁龙 X 系列 NPU 推出了 QNN 运行时，并预告后续支持下一代骁龙 X2 平台。英伟达也没闲着，为 GeForce RTX 和 RTX PRO 显卡带来了专用的 TensorRT for RTX 运行时，官方声称推理速度比以前的 DirectML 提升了 50% 以上，直接覆盖超 1 亿台 Windows 设备。

开发者还能按需指定调度策略。如果软件想省电，就走 NPU 策略；想飙性能，就指定显卡 GPU，不再需要自己去写底层硬件检测代码。

从修图剪视频，到本地抓 Deepfake

微软拉来的第一批落地名单很长，覆盖了不少日常应用。

Adobe 已经在准备将 Premiere Pro 和 After Effects 接入 Windows ML，接下来的版本会调用本地 NPU 来加速媒体库语义搜索、音频类型标记和场景剪辑检测，未来还打算把现有的全部本地模型搬迁过来。万兴科技的剪辑软件 Filmora 则利用不同平台的 NPU，为视频实时生成闪电缠绕、粒子环绕等人体特效。

安全和实用工具也在转向本地。安全软件 McAfee 用它在本地检测社交网络上的 Deepfake 假视频与诈骗，BUFFERZONE 则用端侧模型做实时防钓鱼分析，敏感的网页数据完全不需要传回云端。此外，虚拟摄像头软件 Camo 用 NPU 做实时背景分割，无障碍工具 Dot Vista 用它在医疗环境中做离线语音控制和文字识别，Topaz Labs 也在用它给照片做去噪和清晰度修复。

为什么重要

我们认为，Windows ML 正式商用意味着 PC 端的 AI 竞赛终于跨过了「比拼 NPU 算力数字」的初级阶段，开始进入基础设施收网期。过去一年，各大厂商天天宣传几十 TOPS 的算力，但普通用户拿到手根本不知道除了模糊背景还能干嘛，核心原因就是底层开发栈太碎，第三方软件不敢轻易给每一家芯片都写一套适配。

微软这一步走得相当聪明。它没有强推一套完全推倒重来的新框架，而是基于业内成熟的 ONNX 体系，把脏活累活接了过来，让芯片厂去维护自己的驱动插件，系统层统一调度。对开发者来说，软件瘦身了几百兆，而且只要打一份安装包就能通吃各种主流硬件，试错门槛明显降低了。如果你正在做面向 Windows 用户的桌面应用，现在正是把模型从云端拉回本地跑跑看的好时机。

不过隐患依然存在。各家芯片厂商的 EP 质量参差不齐，虽然微软承诺了兼容性认证机制，但在千奇百怪的 Windows 硬件组合下，端侧模型的精度一致性和偶发闪退依然需要时间检验。但无论如何，Windows 终于拿出了能正面抗衡苹果 Core ML 的系统级底座，端侧 AI 应用的爆发速度大概率会比我们预想的更快。