Guide Labs 開源 Steerling-8B:每個 token 都能追溯到訓練資料
舊金山初創公司 Guide Labs 開源了 80 億引數模型 Steerling-8B。它通過在架構中加入「概念層」,讓生成的每個 token 都能追溯到具體的訓練資料來源。其能力達到現有同類模型的約 90%,但用的訓練資料更少,試圖將黑盒可解釋性變成標準化工程。

Steerling-8B 是 Guide Labs 開源的一個 80 億引數大語言模型。它的核心賣點就一句話:生成的每一個 token,都能精確追溯到它是從哪部分訓練資料裡學來的。
大模型經常胡說八道或者暗藏偏見,傳統做法是事後打補丁,像給神經元做手術一樣在幾十億引數裡大海撈針。Steerling-8B 換了條路子,把黑盒解釋變成了底層的可控工程。
它怎麼做到逐詞溯源
大多數團隊研究模型可解釋性,往往是在模型訓練完成後去做「神經科學解剖」,這種事後逆向分析非常脆弱。Guide Labs 的做法是從底層重構模型架構。
他們在模型內部直接植入了一層「概念層」,把輸入資料分門別類歸入可追蹤的類目。雖然這需要在前期給資料做更多標註,但他們藉助其他 AI 模型輔助標註完成了這一步。
通過這種結構設計,如果模型引用了某個事實,你可以直接查到對應的參考資料;如果要限制版權內容、暴力輸出或貸款審批時的敏感偏見特徵,理論上可以直接關掉對應的概念通路。
更關鍵的是,團隊發現這種硬編碼的概念層沒有扼殺大模型的湧現能力。模型依然會自主理解它從未被顯式教過的領域,比如自己琢磨出關於量子計算的概念。
規格與實際表現
Steerling-8B 的引數量為 80 億,定位是一箇中等尺寸的概念驗證模型。
在整體能力上,Guide Labs 表示它達到了現有同尺寸主流模型大約 90% 的表現,但因為架構更高效,它消耗的訓練資料反而更少。
目前 Steerling-8B 已經開源。團隊後續還計劃訓練更大引數量的版本,並向外界提供商業 API 和 Agent 介面。
為什麼重要
如果你在金融風控、醫療分析或法律合規等嚴監管領域折騰大模型,Steerling-8B 非常值得你拉下來跑跑看。以往黑盒模型因為無法向監管層解釋推理依據,常常卡在落地最後一公里,而這種能提供明確資料溯源的架構正好切中痛點。
不過,它目前落後同規模主流模型的那 10% 效能,意味著普通對話或程式碼生成任務還不需要專門換用它。但 Guide Labs 證明了可解釋性不一定要靠昂貴的算力盲猜,把可控性做進架構裡,很可能會成為下一代行業垂類模型的標配思路。
來源 (1)
- techcrunch.com(在新分頁開啟)原文techcrunch.com