微软为 Windows 带来 gpt-oss-20B:GPU 加速支持本地推理
Microsoft 宣布将经 GPU 加速的开源推理模型 gpt-oss-20B 带到 Windows 设备,支持本地推理。开发者可以通过 Foundry Local 或 VS Code 的 AI Toolkit 直接下载运行,几分钟内即可在本地调用并集成到应用中。

gpt-oss-20B 是 OpenAI 开放权重的小型推理模型,现在微软把它做了 GPU 加速优化,让你能直接在 Windows 电脑上本地跑起来。
它主打的是智能体(Agent)工作流,不用连网、不用担心调用 API 产生 token 账单,几分钟就能在本地搭起一套具备代码执行与工具调用能力的本地 AI 核心。
它能做什么
这个模型的核心能力集中在逻辑推理和工具调用上。OpenAI 采用了高算力强化学习进行训练,让它在思维链推理过程中擅长调用外部工具,比如联网搜索或执行 Python 代码。
微软官方的评价是轻量且懂工具,适合用来搭建自主助理,或者直接嵌入到网络受限环境下的真实工作流中。
不过需要明确的是,gpt-oss-20B 是一个纯文本模型。它无法像现在的多模态大模型那样直接读取或生成图片、音频,功能完全聚焦在文本推理上。
硬件门槛和明显短板
要把 20B 规模的模型跑顺畅,显存依然是硬指标。你的 Windows PC 或笔记本至少需要准备 16GB 的独立显存,目前主流的 Nvidia 或 AMD Radeon 显卡基本都能满足这一门槛。
除了硬件,使用前最需要注意的其实是它的幻觉问题。
根据 OpenAI 自家测试人物事实准确度的基准 PersonQA,gpt-oss-20B 在 53% 的提问中都会出现幻觉。这意味着如果你让它回答人物背景或生平事实,错误率会非常高。
因此它并不适合当百科全书使,它的长处在于按步骤调工具和写代码跑逻辑,只要输出需要严格核对的事实内容,就必须加上人工或外接数据库校验。
怎么在本地跑起来
要在本地跑起来非常直接,微软提供了两条路径,都在几分钟内能搞定。
第一种是命令行工具 Foundry Local。直接在终端里用 WinGet 安装:执行 winget install Microsoft.FoundryLocal。安装完成后,在终端敲入 foundry model run gpt-oss-20B,模型下载完成后就能直接交互。后续如果要在自己的软件里接入,直接调用 Foundry Local SDK 即可。
第二种是配合 Visual Studio Code。安装 VS Code 之后,在扩展商店搜索并安装 AI Toolkit 插件。打开模型目录(Model Catalog),搜索并下载 gpt-oss-20B,随后进入模型操场(Model Playground)就能直接输入提示词测试,同样支持调整推理参数。
后续微软还计划把这套本地运行支持带到 macOS 等其他设备上。如果不打算在本地跑,云端 Azure AI Foundry 也已经同步上线了 20B 和更大的 120B 版本。
为什么重要
我们认为,微软把 gpt-oss-20B 搬上 Windows 本地推理,最大的价值是把智能体的门槛大幅拉低了。以前本地跑小模型往往只能做简单问答,复杂点的工具链和代码执行动不动就卡死,而专门经过工具调用强化的推理模型能让本地自动化脚本真正变得可用。
对于个人开发者和看重隐私的团队来说,现在很值得拿它写写本地自动化脚本或日常代码辅助。只要你避开事实检索的雷区、做好输出兜底,一台 16GB 显存的游戏本就能变成完全断网可用的私人智能体工作站。
来源 (2)
- blogs.windows.com(在新标签页打开)原文blogs.windows.com
- techcrunch.com(在新标签页打开)报道techcrunch.com