相容 OpenAI 格式：Nous Research 推出 Hermes 3 推理 API

如果你用過 OpenAI 或者 Anthropic 的介面，可能經常被各種過度謹慎的道德審查打斷。很多開發者轉頭去看開源社群，可要把動輒幾十上百 G 的大模型拉到本地，配置顯示卡、搭推理框架，成本又太高。

總部位於紐約的 AI 團隊 Nous Research 想解決這個麻煩。他們正式上線了自家的推理 API，讓開發者不用自己折騰硬體，直接通過介面呼叫他們旗下的模型。

相容 OpenAI 格式，先上兩款主力模型

這次 API 首批上線的有兩個模型。一個是 Hermes 3 Llama 70B，這是基於 Meta 的 Llama 3.1 架構微調的通用大模型。另一個是上個月剛剛釋出的 DeepHermes-3 8B Preview，屬於推理類模型，開發者可以通過系統提示詞自由切換簡潔回答或者完整的思考鏈思維過程。

為了降低遷移成本，Nous Research 把介面設計成了完全相容 OpenAI 的風格，支援 completions 和 chat completions 規範。如果你之前寫過呼叫 GPT 的程式碼，換個請求地址和模型名稱就能直接跑起來。

由於算力資源不如大廠充裕，團隊目前採用先到先得的候補名單機制來控制請求流量。新註冊賬號可以直接拿到 5 美元的免費額度，用來測試和驗證自己的應用。

從純開源到雲端介面，草根團隊也要恰飯

自 2023 年成立以來，Nous Research 一直標榜自己要做個性化且不受嚴苛限制的開源大模型。根據他們公佈的時間線，團隊自 2023 年 7 月以來已經發布了 29 個開源專案，包括模型權重、論文、程式碼和資料集。

四個月前，他們先是推出了網頁端對話介面 Nous Chat。在此之前，開發者如果想用 Hermes 系列，必須自己把模型下載到本地或者雲主機上去跑，既耗時又費錢。

雖然團隊一直宣稱要對抗寡頭壟斷，甚至在宣佈 Solana 上的 Psyche 專案時表示超級智慧不該被少數幾家巨頭把持，但開源團隊終究要面對算力賬單。通過雲端 API 變現，同時保留權重開源，成了他們探索商業化自我造血的第一步。雖然團隊主打 unrestricted，但這套模型內部其實依然保留了防範惡意輸出的基礎護欄。

為什麼重要

對開發者和研究人員來說，Nous Research 這次開放 API 最實在的價值，就是終於能用極低的門檻跑那些不愛對使用者說教的模型。不管是做劇情生成、複雜推演，還是特定領域的研究，都不用再去買高配顯示卡或者忍受商業大廠動不動觸發的稽核機制，拿 5 美元體驗金就能立刻在生產環境裡跑對比測試。

我們認為，Nous Research 走了一步非常精明的商業棋。全開源模型常常陷入只賺吆喝不賺錢的尷尬境地，但他們沒有選擇關起門來搞閉源，而是用雲端託管推理來收便利稅。相容 OpenAI 的 API 設計更是把遷移門檻降到了最低，直接去挖大廠的牆角。

不過，這種模式的核心隱患依然在算力基建。他們沒有頭部巨頭那樣龐大的 GPU 叢集，目前的排隊機制說好聽是飢餓營銷，說難聽就是伺服器頂不住。一旦併發量暴增，介面響應延遲和穩定性會不會崩盤，將直接決定它能不能從極客的嚐鮮玩具變成企業敢放進生產環境的嚴肅基礎設施。