Stability AI 釋出 Stable Beluga 2：僅用一成合成資料微調登頂榜首

Stable Beluga 1 和 Stable Beluga 2 是 Stability AI 與旗下 CarperAI 實驗室推出的開源指令微調大語言模型。它們能幫你處理複雜的邏輯推理、理解細微的語言語義，以及解答法律、數學等專業領域的深度問題。

兩款模型之前在內部的代號叫 FreeWilly，向微軟經典的 Orca 論文致敬。團隊後來將其改名為白鯨 Beluga，原因是白鯨比兇猛的虎鯨更溫和，團隊在模型微調中專門針對無害性做了大量對齊與紅隊測試。

僅用一成合成資料微調

Stable Beluga 最亮眼的技術點在於微調資料的高效利用。它的訓練思路直接借鑑了微軟 Orca 論文中讓模型學習 GPT-4 複雜解釋軌跡的方法，但資料來源完全不同。

團隊沒有去堆砌幾百萬量級的資料，而是利用 Enrico Shippole 製作的高質量指令，合成生成了一個僅包含約 60 萬條資料的資料集。這個規模只有原版 Orca 論文資料集的 10% 左右。

為了保證測試成績不摻水，團隊仔細過濾了這批合成數據，嚴格剔除了所有來自 ARC-Challenge 等常見基準測試的樣本，避免了測試集洩露。這種用極小樣本量換取極高推理質量的做法，大幅降低了訓練微調的算力成本與碳足跡。

登頂開源榜首與硬體規格

儘管訓練樣本只有原版的一成，Stable Beluga 的效能卻直接重新整理了開源記錄。在 EleutherAI 的評估框架以及 AGIEval、GPT4ALL 等零樣本基準測試中，兩款模型都表現出極強的解題能力。

截至 7 月 27 日，Hugging Face 獨立復現並公佈的 Open LLM Leaderboard 榜單上，基於 LLaMA 2 70B 微調的 Stable Beluga 2 直接登頂全球第一，而基於第一代 LLaMA 65B 的 Stable Beluga 1 也穩居第四。

在規格與獲取方式上，Stable Beluga 2 屬於 70B 引數量級的自迴歸大模型，目前已在 Hugging Face 開源社群完整開放模型權重。想要在本地跑起來，需要準備充足的視訊記憶體資源，通常需要多張專業顯示卡或採用高比例量化技術。

而基於舊版 LLaMA 65B 的 Stable Beluga 1 則因為 Meta 原版的授權限制，只提供了差量權重（delta weights），需要使用者結合原始 LLaMA 權重自行合併還原。

需要注意的是，兩款模型均採用非商業的 Stable Beluga Research License 協議釋出，目前僅供學術和技術研究使用，不能直接用於商業落地。

為什麼重要

對於做模型微調的研究者和開發者來說，Stable Beluga 提供了一個非常漂亮的範式參考。它證明了不需要動輒幾百萬條資料做粗暴灌洗，只要資料質量足夠高、生成提示足夠精細，用 60 萬條高質量合成數據同樣能把 70B 底座榨出頂級推理能力。

不過，它目前最大的限制在於非商業許可證和 70B 的龐大體積。如果你想快速體驗目前開源領域最頂尖的推理水平，可以直接去 Hugging Face 下載嘗試；但如果你指望拿它直接做商業產品，現階段可能還需要等待後續商用版本或借鑑其合成數據方案自行訓練。