跳到正文
IFAI

開源專案

微軟為 Windows 帶來 gpt-oss-20B:GPU 加速支援本地推理

首次發布 傳播指數 55

Microsoft 宣佈將經 GPU 加速的開源推理模型 gpt-oss-20B 帶到 Windows 裝置,支援本地推理。開發者可以通過 Foundry Local 或 VS Code 的 AI Toolkit 直接下載執行,幾分鐘內即可在本地呼叫並整合到應用中。

微軟為 Windows 帶來 gpt-oss-20B:GPU 加速支援本地推理
圖:blogs.windows.com

gpt-oss-20B 是 OpenAI 開放權重的小型推理模型,現在微軟把它做了 GPU 加速最佳化,讓你能直接在 Windows 電腦上本地跑起來。

它主打的是智慧體(Agent)工作流,不用連網、不用擔心呼叫 API 產生 token 賬單,幾分鐘就能在本地搭起一套具備程式碼執行與工具呼叫能力的本地 AI 核心。

它能做什麼

這個模型的核心能力集中在邏輯推理和工具呼叫上。OpenAI 採用了高算力強化學習進行訓練,讓它在思維鏈推理過程中擅長呼叫外部工具,比如聯網搜尋或執行 Python 程式碼。

微軟官方的評價是輕量且懂工具,適合用來搭建自主助理,或者直接嵌入到網路受限環境下的真實工作流中。

不過需要明確的是,gpt-oss-20B 是一個純文本模型。它無法像現在的多模態大模型那樣直接讀取或生成圖片、音訊,功能完全聚焦在文本推理上。

硬體門檻和明顯短板

要把 20B 規模的模型跑順暢,視訊記憶體依然是硬指標。你的 Windows PC 或筆記本至少需要準備 16GB 的獨立視訊記憶體,目前主流的 Nvidia 或 AMD Radeon 顯示卡基本都能滿足這一門檻。

除了硬體,使用前最需要注意的其實是它的幻覺問題。

根據 OpenAI 自家測試人物事實準確度的基準 PersonQA,gpt-oss-20B 在 53% 的提問中都會出現幻覺。這意味著如果你讓它回答人物背景或生平事實,錯誤率會非常高。

因此它並不適合當百科全書使,它的長處在於按步驟調工具和寫程式碼跑邏輯,只要輸出需要嚴格核對的事實內容,就必須加上人工或外接資料庫校驗。

怎麼在本地跑起來

要在本地跑起來非常直接,微軟提供了兩條路徑,都在幾分鐘內能搞定。

第一種是命令列工具 Foundry Local。直接在終端裡用 WinGet 安裝:執行 winget install Microsoft.FoundryLocal。安裝完成後,在終端敲入 foundry model run gpt-oss-20B,模型下載完成後就能直接互動。後續如果要在自己的軟體裡接入,直接呼叫 Foundry Local SDK 即可。

第二種是配合 Visual Studio Code。安裝 VS Code 之後,在擴充套件商店搜尋並安裝 AI Toolkit 外掛。開啟模型目錄(Model Catalog),搜尋並下載 gpt-oss-20B,隨後進入模型操場(Model Playground)就能直接輸入提示詞測試,同樣支援調整推理引數。

後續微軟還計劃把這套本地執行支援帶到 macOS 等其他裝置上。如果不打算在本地跑,雲端 Azure AI Foundry 也已經同步上線了 20B 和更大的 120B 版本。

為什麼重要

我們認為,微軟把 gpt-oss-20B 搬上 Windows 本地推理,最大的價值是把智慧體的門檻大幅拉低了。以前本地跑小模型往往只能做簡單問答,複雜點的工具鏈和程式碼執行動不動就卡死,而專門經過工具呼叫強化的推理模型能讓本地自動化指令碼真正變得可用。

對於個人開發者和看重隱私的團隊來說,現在很值得拿它寫寫本地自動化指令碼或日常程式碼輔助。只要你避開事實檢索的雷區、做好輸出兜底,一臺 16GB 視訊記憶體的遊戲本就能變成完全斷網可用的私人智慧體工作站。

來源 (2)

  1. [1]
    blogs.windows.com(在新分頁開啟)原文blogs.windows.com
  2. [2]
    techcrunch.com(在新分頁開啟)報導techcrunch.com

每日 AI 內容精選