Stability AI 推出 StableVicuna：首個用 RLHF 調優的開源對話大模型

StableVicuna-13B 是一個開源的指令對話大模型，也是社群裡首個完整走完人類反饋強化學習（RLHF）全流程的開源模型。如果你平時需要一個在本地或私有伺服器上跑的聊天助手，用它來做基礎數學計算、寫程式碼或者修改語法，它比普通的指令微調模型更懂如何像人類偏好的方式給出回答。

它能做什麼與怎麼訓練出來的

此前社群裡的大多數開源模型只做到指令微調（SFT）這一步，因為 RLHF 的流程複雜、偏好資料門檻高。StableVicuna-13B 以 Vicuna-13B（基於 LLaMA-13B 微調的模型）為底座，參考了主流的三階段 RLHF 訓練管線。

第一步是進一步的監督微調。團隊混合了三個開源指令資料集：包含 35 種語言、161443 條訊息的 OpenAssistant 對話資料集（OASST1），由 GPT-3.5 Turbo 生成的 437605 條 GPT4All 資料集，以及 52000 條 Alpaca 資料集。

第二步是訓練獎勵模型。團隊藉助 trlX 框架，將 SFT 模型初始化為獎勵模型，並灌入了大量偏好資料。這裡用到了 OASST1 的 7213 條偏好樣本、Anthropic HH-RLHF 的 160800 條關於有用與無害的標註，以及斯坦福人類偏好資料集（SHP）中涵蓋 18 個領域的 348718 條偏好記錄。

第三步是強化學習微調。團隊在 trlX 框架下使用近端策略最佳化（PPO）演算法，在獎勵模型的指引下完成了最終的對齊訓練。

怎麼獲取與上手

因為底層使用了 Meta 的初代 LLaMA，受限於當時的開源協議，StableVicuna-13B 在 Hugging Face Hub 上並不是直接提供完整權重，而是以權重差量（weight delta）的形式釋出。

想要在本地跑起來，你得先自行申請並拿到 Meta 原版的 LLaMA-13B 權重，再下載官方釋出的權重差量，最後執行 GitHub 倉庫提供的合併指令碼拼成完整模型。對於不想折騰環境的讀者，Hugging Face Space 上線了基於 Gradio 的線上體驗 Demo，官方也計劃後續在 Discord 伺服器上線體驗機器人。

為什麼重要

StableVicuna 的最大價值，不在於它的 13B 引數量能壓制多少閉源巨頭，而在於它把原本只掌握在少數大廠手裡的 RLHF 黑盒徹底撕開了一個口子。它把三階段對齊的完整流程、開源工具鏈（trlX）和公開偏好資料集跑通成了一個真正可落地的樣本。

對開發者和研究人員來說，如果你正在探索如何讓自己的開源模型更符合人類意圖、減少有害輸出，StableVicuna 的整套流程和公開指令碼非常值得參考；不過對普通使用者而言，合併權重的門檻依然偏高，直接在網頁 demo 裡感受其能力是目前最省事的選擇。