OpenAI 開源推理模型 gpt-oss：含 120b 與 20b，支援端側執行

gpt-oss 是 OpenAI 針對本地推理和輕量部署推出的開源權重模型家族，包含 120b 和 20b 兩個尺寸，全部採用寬鬆的 Apache 2.0 許可證釋出。這也是自 GPT-2 以來，OpenAI 首次拿出自家的語言模型開放權重。

簡單來說，它讓你不用調 API，就能在自備的硬體上跑起具備完整思維鏈（CoT）推理和工具呼叫能力的 AI。網頁搜尋、Python 程式碼執行、結構化輸出全部原生支援。

它能做什麼

兩個模型走的是混合專家架構（MoE），雖然引數總量分別達到了 117b 和 21b，但每個 token 實際啟用的引數只有 5.1b 和 3.6b。這種設計大幅壓低了計算開銷，原生支援 128k 上下文長度。

gpt-oss-120b 在 Codeforces 程式設計、MMLU 通識和 TauBench 智慧體評測上追平或超越了 OpenAI o4-mini，在 AIME 數學競賽和 HealthBench 醫療基準上甚至拿到了更好的成績。

gpt-oss-20b 雖然體量小很多，但在常見評測上可以對標 o3-mini，同樣在數學和醫療評測中實現了反超。

它們還沿用了 o 系列模型的特性，支援通過系統提示詞用一句話切換 low、medium、high 三檔推理強度，在延遲和推理深度之間自由取捨。

怎麼跑起來

官方權重直接在 Hugging Face 開源，並且出廠就自帶 MXFP4 量化。

gpt-oss-20b 只需要 16 GB 視訊記憶體或統一記憶體就能跑，普通的筆記型電腦或本地裝置毫無壓力。微軟也同步在 Windows 裝置上通過 ONNX Runtime 提供了 GPU 最佳化版本，支援通過 VS Code 的 AI Toolkit 直接本地跑。

體量更大的 gpt-oss-120b 則設計為在一張 80 GB 視訊記憶體的 GPU 上單卡執行，非常適合企業私有化部署。生態方面，vLLM、Ollama、llama.cpp、LM Studio 都已經在首發支援名單裡。

需要注意的是，模型訓練資料主要是英文純文本，偏向 STEM、程式設計和通用知識，目前並不支援多模態輸入。官方這次一併開源了 o200k_harmony 分詞器，以及 Python 和 Rust 版本的 harmony 渲染器，推理參考實現也覆蓋了 PyTorch 和蘋果的 Metal。

如果你想直接上手，可以去 Hugging Face 下載權重，或者在官方的開放模型 playground 裡先點幾下體驗。

為什麼重要

對開發者和中小團隊來說，這是目前用消費級硬體部署私有推理模型的最佳選項之一。16 GB 記憶體就能跑出接近 o3-mini 水準的推理和程式碼能力，讓資料不出本地的本地 Agent 變得非常廉價。

我們認為 OpenAI 這次把推理能力打包進 Apache 2.0 許可做開源，直接把壓力甩給了同尺寸的開源競品。不過模型目前缺乏多模態，且強依賴英文語境，非英語任務的效果還有待實際測試。