Stability AI 推出 StableVicuna:首個用 RLHF 調優的開源對話大模型
Stability AI 釋出首個通過人類反饋強化學習(RLHF)訓練的大規模開源聊天模型 StableVicuna-13B。該模型基於 Vicuna-13B,結合 Anthropic 與 OpenAssistant 等偏好資料集,用 trlX 完成 PPO 強化學習。最值得關注的是,它把此前多被閉源獨佔的 RLHF 完整流程帶入了開源社群。模型權重差量已在 Hugging Face 開放下載。
Stability AI 釋出首個通過人類反饋強化學習(RLHF)訓練的大規模開源聊天模型 StableVicuna-13B。該模型基於 Vicuna-13B,結合 Anthropic 與 OpenAssistant 等偏好資料集,用 trlX 完成 PPO 強化學習。最值得關注的是,它把此前多被閉源獨佔的 RLHF 完整流程帶入了開源社群。模型權重差量已在 Hugging Face 開放下載。
開發者 Simon Willison 發文稱大模型正迎來類似 Stable Diffusion 的開源拐點。通過開源專案 llama.cpp 的 4-bit 量化技術,7B 與 13B 版本的 LLaMA 模型已能直接在 MacBook 上本地流暢執行,打破了原本需要高昂雲端算力的門檻。
Meta 釋出基礎大語言模型 LLaMA,提供 70 億至 650 億引數等多個版本。模型主打更小體積與更低算力消耗,其中 130 億引數版本訓練量達 1 萬億 token。不過目前僅以非商業研究許可面向科研機構與學術人員開放申請。