跳到正文
IFAI

大模型

Stability AI 推出 Stable LM 3B:專為端側打造,表現超越部分 7B 模型

首次發布 傳播指數 47

Stability AI 推出 3B 引數的輕量語言模型 Stable LM 3B,專為掌上裝置和筆記本打造。它的常識推理表現不僅超越同尺寸前代模型,還勝過部分開源 7B 模型,能顯著降低端側執行成本。模型以 CC-By-SA 4.0 協議開源,作為基礎模型供開發者微調。

Stability AI 推出 Stable LM 3B:專為端側打造,表現超越部分 7B 模型
圖:stability.ai

Stable LM 3B 是 Stability AI 專門為筆記本和掌上便攜裝置打造的 30 億引數輕量語言模型,讓你不用依賴龐大的雲端算力,在本地裝置上就能跑起高水平的文本生成。

業內主流的大語言模型動輒 7B 到 70B 引數,不僅燒視訊記憶體,功耗和執行成本也很高。Stable LM 3B 的目標就是把體積壓下來,同時維持足夠能打的生成質量。

它能做到什麼

別看它只有 30 億引數,在下游自然語言基準測試中,它的常識推理和常識問答成績已經超過了此前的同尺寸最優模型。

甚至在部分常見測試裡,它的表現壓過了業內一些優秀的開源 7B 模型。除了文字生成和創意寫作,它還能被微調成特定程式語言的程式碼助手,或是企業內部的低成本客服模型。

更輕的體積意味著大幅降低的功耗。如果部署在移動邊緣裝置或家庭 PC 上,裝置發熱和電量消耗都會友好得多。

怎麼做到的與當前限制

為了讓 3B 模型發揮出越級效能,Stability AI 在高質量資料集上對其進行了多輪迭代訓練,在保持快速推理的同時明顯提升了文本質量。

不過大家上手前要看清:這次放出的是一個實驗性質的基礎模型,並不是開箱即用的對話助手。

也就是說,它還沒有經過指令微調和對齊,直接拿去做問答或對話可能會胡言亂語。官方表示指令微調版本正在進行安全測試,很快就會推出。

目前 Stable LM 3B 的模型權重已經在 Hugging Face 上開放下載,採用開源 CC-By-SA 4.0 協議。

為什麼重要

如果你是獨立開發者或想在邊緣端搞落地的團隊,這款模型非常值得現在下載下來摸底。3B 引數意味著只要普通筆記本甚至高階掌上裝置就能輕鬆載入微調,試驗成本極低。

對行業而言,它證明了靠高質量資料精煉的小模型完全能在特定推理任務上叫板 7B 級別。在端側 AI 競爭越來越激烈的當下,開源小模型正在快速抹平普通硬體與智慧體驗之間的鴻溝。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

話題追蹤Stability AI 的大語言模型與視覺語言模型開發

這個話題的歷次新聞,最新的在上面。

  1. Stable LM Zephyr 3B 釋出:3B 輕量模型,邊緣裝置也能流暢跑
  2. Stability AI 推出 Stable LM 3B:專為端側打造,表現超越部分 7B 模型本則
  3. Stability AI 釋出日語圖文模型 Japanese InstructBLIP Alpha:能認晴空塔與金閣寺
  4. Stability AI 釋出首個日語模型:70 億引數,基礎版開源可商用
  5. Stability AI 釋出 Stable Beluga 2:僅用一成合成資料微調登頂榜首

每日 AI 內容精選