OpenAI 开源推理模型 gpt-oss：含 120b 与 20b，支持端侧运行

gpt-oss 是 OpenAI 针对本地推理和轻量部署推出的开源权重模型家族，包含 120b 和 20b 两个尺寸，全部采用宽松的 Apache 2.0 许可证发布。这也是自 GPT-2 以来，OpenAI 首次拿出自家的语言模型开放权重。

简单来说，它让你不用调 API，就能在自备的硬件上跑起具备完整思维链（CoT）推理和工具调用能力的 AI。网页搜索、Python 代码执行、结构化输出全部原生支持。

它能做什么

两个模型走的是混合专家架构（MoE），虽然参数总量分别达到了 117b 和 21b，但每个 token 实际激活的参数只有 5.1b 和 3.6b。这种设计大幅压低了计算开销，原生支持 128k 上下文长度。

gpt-oss-120b 在 Codeforces 编程、MMLU 通识和 TauBench 智能体评测上追平或超越了 OpenAI o4-mini，在 AIME 数学竞赛和 HealthBench 医疗基准上甚至拿到了更好的成绩。

gpt-oss-20b 虽然体量小很多，但在常见评测上可以对标 o3-mini，同样在数学和医疗评测中实现了反超。

它们还沿用了 o 系列模型的特性，支持通过系统提示词用一句话切换 low、medium、high 三档推理强度，在延迟和推理深度之间自由取舍。

怎么跑起来

官方权重直接在 Hugging Face 开源，并且出厂就自带 MXFP4 量化。

gpt-oss-20b 只需要 16 GB 显存或统一内存就能跑，普通的笔记本电脑或本地设备毫无压力。微软也同步在 Windows 设备上通过 ONNX Runtime 提供了 GPU 优化版本，支持通过 VS Code 的 AI Toolkit 直接本地跑。

体量更大的 gpt-oss-120b 则设计为在一张 80 GB 显存的 GPU 上单卡运行，非常适合企业私有化部署。生态方面，vLLM、Ollama、llama.cpp、LM Studio 都已经在首发支持名单里。

需要注意的是，模型训练数据主要是英文纯文本，偏向 STEM、编程和通用知识，目前并不支持多模态输入。官方这次一并开源了 o200k_harmony 分词器，以及 Python 和 Rust 版本的 harmony 渲染器，推理参考实现也覆盖了 PyTorch 和苹果的 Metal。

如果你想直接上手，可以去 Hugging Face 下载权重，或者在官方的开放模型 playground 里先点几下体验。

为什么重要

对开发者和中小团队来说，这是目前用消费级硬件部署私有推理模型的最佳选项之一。16 GB 内存就能跑出接近 o3-mini 水准的推理和代码能力，让数据不出本地的本地 Agent 变得非常廉价。

我们认为 OpenAI 这次把推理能力打包进 Apache 2.0 许可做开源，直接把压力甩给了同尺寸的开源竞品。不过模型目前缺乏多模态，且强依赖英文语境，非英语任务的效果还有待实际测试。