跳到正文
IFAI

開源專案

開源對話模型 OpenAssistant 釋出:免費公開超 60 萬條對話資料

首次發布 傳播指數 60

開源專案 OpenAssistant 正式釋出,並向所有人免費公開其資料集。該資料集包含超 60 萬條人工生成的對話與反饋,覆蓋多種主題與風格,專為指令模型訓練打造,讓開發者無需依賴閉源巨頭也能訓練自己的對話 AI。

圖:youtube.com

OpenAssistant 是一個面向所有人的開源對話 AI 專案。它不僅提供了訓練好的對話模型,更關鍵的是把訓練所用的整套人類反饋資料集全部免費公開了出來。

在過去幾個月裡,開發團隊持續收集了海量文本輸入與人工反饋。如果你正在嘗試微調自己的開源大語言模型,這個專案能讓你直接跳過最耗時的資料積累階段。

它能做什麼

OpenAssistant 讓你無需依賴大公司的閉源介面,就能基於完全開放的資料來開發指令對齊模型。

專案團隊基於這套流程訓練出了現成的強大對話模型,使用者可以直接線上體驗其實際交流效果,檢驗開源對話模型的問答水平。

對於開發者來說,它最實用的地方在於提供了端到端的參考範式,從收集提示詞、標註回覆質量,到最終將模型對齊為聽話好用的聊天助手。

核心是那 60 萬條人工資料

訓練現代對話 AI 最缺的不是算力,而是高質量的指令微調資料。OpenAssistant 這次最大的亮點,是直接在 Hugging Face 組織頁面放出了超過 60 萬條人工生成的資料點。

這些資料涵蓋了極其多樣的討論主題和寫作風格,並且全部經過人工的輸入與標註反饋,專門用來訓練指令模型。

整個資料集向所有人免費開放下載。無論你是想做學術研究,還是打算基於它做商業落地,都可以自由獲取並投入訓練。

為什麼重要

我們認為,OpenAssistant 最聰明的地方在於它沒有把重心只押在模型權重上,而是把開源界最稀缺的人工反饋資料集交了出來。以往開源模型和商業閉源模型差距最大的地方,就在於缺乏足夠規模的高質量人類對齊資料。

對於打算自建對話助手、又不想受制於商用 API 的開發者和中小團隊來說,這套資料集非常值得立即下載研究。雖然開源模型的推理表現依然取決於底層架構和算力投入,但公開如此大規模的人工標註成果,無疑大幅拉低了整個開源社群追趕前沿對話體驗的門檻。

來源 (2)

  1. [1]
    youtube.com(在新分頁開啟)原文youtube.com
  2. [2]

每日 AI 內容精選