GitHub Models 上線免費推理 API：相容 OpenAI，開箱即用

你在 GitHub 上相中了一個挺好玩的開源 AI 工具，興沖沖地克隆到本地敲下回車，結果終端裡直接彈出一行刺眼的紅字：Error: OPENAI_API_KEY not found。

那一瞬間，哪怕這個工具再驚豔，你大機率也會默默關掉視窗。讓試用者或者開源貢獻者自備付費 API 金鑰，幾乎是開源 AI 專案流失使用者最快的方式。

針對這個痛點，GitHub 專門發文介紹了他們推行的解決方案：通過 GitHub Models，給所有開源專案提供免費且相容 OpenAI 介面的模型推理能力。

告別自備 Key 和沉重的本地權重

給開源專案加上 AI 功能在今天已經不稀奇了，難的是怎麼讓別人低門檻跑起來。

要求每個人填 OpenAI 或 Anthropic 的付費金鑰，直接把很多學生和業餘開發者擋在了門外。如果在本地跑模型，幾 B 大小的模型只能乾點輕量活，稍微複雜點的任務就會把普通筆記本的記憶體撐爆。

如果用 Docker 把模型權重打包進專案，動輒幾個 G 的體積不僅拖慢下載，連 GitHub Actions 預設 14 GB 的容器環境都吃不消。

GitHub Models 的做法很簡單。它提供了一個現成的 REST 介面，完全相容大家熟悉的 OpenAI chat/completions 規範。

裡面託管了一批主流模型，包括 GPT-4o、DeepSeek-R1、Llama 3 等等。只要你有一個 GitHub 賬號，用個人訪問令牌（PAT）就能直接調，不需要換 SDK，也不用註冊別的雲平臺。

Actions 裡的零配置自動化

不僅本地跑得通，這套方案更順手的地方在 CI/CD 流程裡。

以前如果要在 GitHub Actions 裡跑一個自動總結 PR 或者打標籤的機器人，每個安裝的人都得去倉庫的 Secrets 頁面，小心翼翼地把自己的 API Key 貼進去。

現在在工作流配置檔案里加一行許可權設定，給內建的 GITHUB_TOKEN 賦予 models: read 許可權，執行器就能直接發起模型推理。

不管是程式碼審查、PR 摘要、自動化 Issue 分揀，還是每週生成專案動態報告，其他人 Fork 或安裝後直接就能一鍵跑起來。

額度方面，個人賬號和開源組織都可以直接用免費層。如果社群規模擴大、免費請求頻率不夠用，組織可以在設定裡開啟付費層，付費版提供更高的每分鐘請求數、最高 128k 的上下文，而且走的是獨立部署佇列，響應延遲更低。

為什麼重要

對於開源專案的維護者來說，這可能是近期最實在的利好。過去做 AI 開源專案，第一步的執行成功率極低，而現在只要使用者有 GitHub 賬號，敲一下回車就能看到效果，試用門檻和貢獻門檻都被打到了最低。

從平臺競爭來看，我們認為微軟和 GitHub 這一步走得相當老辣。他們實際上是在用自己的算力資源補貼開源生態，把開發者牢牢繫結在 GitHub Actions 和自己的模型庫上。

當開源世界的自動化指令碼、PR 審查和程式碼生成全都在預設呼叫 GitHub 提供的推理介面時，外部雲廠商想再把開發者撬走就更難了。

不過隱患也在這裡。免費層必然有嚴格的頻率限制，真正活躍的大專案遲早要轉入付費模式。而且專案深度依賴 GitHub Models 後，未來如果遇到模型下架或介面策略調整，遷移成本也會比單純呼叫通用標準介面更高。