斯坦福聯手華大造出 s1:成本不到 50 美元的開源推理模型
斯坦福大學與華盛頓大學研究人員推出開源推理模型 s1。該模型以 Qwen 開源小模型為底座,通過監督微調蒸餾 Google Gemini 的推理過程,僅耗費不到 50 美元算力便在數學和程式設計評測中追平 OpenAI o1,程式碼與資料已開源。

s1 是斯坦福大學與華盛頓大學研究人員開源的一款輕量級推理模型,目標是用極低成本複製類似 OpenAI o1 和 DeepSeek-R1 的複雜推理與長思維鏈能力。
在數學和程式設計能力的基準測試中,s1 拿出了與頂尖推理模型相近的水平。整個專案最大的看點在於極致的價效比:訓練它只花了不到 50 美元的雲端算力,相關程式碼、訓練資料和模型權重已全部在 GitHub 上公開。
它是怎麼做到的
s1 沒有采用 DeepSeek-R1 那樣昂貴的大規模強化學習,而是選了一條極簡路線:小規模監督微調(SFT)加模型蒸餾。
研究團隊選擇阿里巴巴開源的 Qwen 小模型作為底座,然後從 Google 開放的 Gemini 2.0 Flash Thinking Experimental 中提取推理資料。他們沒有盲目堆砌資料量,而是極其剋制地只篩選了 1,000 道高質量題目,並完整收錄了 Gemini 在給出答案前的具體思考步驟。
算力消耗方面,團隊使用 16 張輝達 H100 顯示卡,不到 30 分鐘就完成了全部微調。參與該專案的斯坦福研究員 Niklas Muennighoff 表示,如果放在今天去租用對應算力,花費甚至可以壓縮到大約 20 美元。
為了讓小模型在解題時學會反覆推敲,團隊還用了一個非常聰明的技巧。他們在模型的推理過程中硬塞入了一個單詞「wait」,強行拉長模型的思考時間、誘導它進行二次核對,最終成功換來了更高的答題準確率。
怎麼上手與使用限制
如果你想自己動手部署或復現,專案的程式碼、用於微調的 1,000 條資料集以及模型本身都可以在 GitHub 上直接獲取。因為基於引數量不大的 Qwen 底座,個人開發者使用常規算力就能跑起來。
不過在嘗試商業化落地時需要格外謹慎。該模型的資料直接來自 Google 的 Gemini 實驗版本,而 Google 的服務條款明確禁止抓取模型輸出去製造競品。此外,蒸餾方案的本質是模仿先驗智慧,s1 能把現有的推理邏輯學得很像,但無法憑空誕生出超越源頭模型的全新智慧。
為什麼重要
對於個人開發者和中小研究團隊來說,s1 證明了推理模型不一定非得依賴巨頭專屬的數百萬美元軍備競賽。只要底座模型過關,配上一千條精挑細選的高質量思維鏈,兩杯咖啡的錢就能微調出一個解題高手。
這篇研究很可能會改變接下來端側小模型的開發範式。它讓大廠意識到,耗費巨資訓練出的前沿模型很容易被低成本截流。未來閉源大模型對 API 和免費測試介面的防蒸餾限制,恐怕會變得更加嚴苛。
來源 (1)
- techcrunch.com(在新分頁開啟)原文techcrunch.com