Stability AI 釋出首個日語模型：70 億引數，基礎版開源可商用

Japanese StableLM Alpha 是 Stability AI 推出的首個 70 億引數日語通用大模型，如果你正在尋找一個能本地部署、懂日語甚至可以商用的開源語言模型，它是目前最值得看的新選項。

這次釋出的模型分為兩個版本：用於通用文本生成的基礎模型 Japanese StableLM Base Alpha 7B，以及經過指令對齊的 Japanese StableLM Instruct Alpha 7B。它們不僅可以用來做日語文本創作、摘要和問答，也能作為下游日語任務微調的底座。

7500 億 token 訓練，引入新架構

該模型主要使用網路抓取的海量資料進行訓練，訓練集絕大部分是日語和英語文本，另外還有約 2% 的原始碼資料。除了常見的公開資料集，資料來源還包括 Stability AI Japan 自己構建的資料集，以及與 EleutherAI Polyglot 專案日本團隊、本地社群成員合作整理的語料。

訓練框架基於 EleutherAI 的 GPT-NeoX 進行了擴充套件，在架構上引入了 SwiGLU 啟用函式和 xPos 旋轉位置編碼等新技術。整個訓練週期跨多個 epoch，累計處理了多達 7500 億個 token。

經過監督微調（SFT）的 Instruct 版本，在指令遵循能力上有了明顯提升。按照 EleutherAI 的 lm-evaluation-harness 基準測試，在包含句子分類、句對判斷、問答和句子摘要等 8 項評測任務中，Instruct 模型跑出了 54.71 的平均分，大幅領先參與對比的其他 4 組日語開源大模型。

怎麼下載，商用規則如何

目前兩個模型都已經上傳到了 Hugging Face Hub，開發者可以直接拉取權重進行推理或二次微調。

需要注意的是兩者的授權協議完全不同。Base 模型採用了非常寬鬆的 Apache License 2.0 協議，允許個人和企業免費商用，門檻很低。

而跑分更高的 Instruct 版本目前被定為研究模型，僅供學術和非商用研究使用。如果你打算直接做商業產品落地，需要使用 Base 模型自己補充業務資料進行指令微調。

為什麼重要

對於需要處理日語業務的開發者和出海團隊來說，這是目前開源社群裡少有的高分底座。以往日語模型大多停留在引數量偏小或語料不充分的階段，Japanese StableLM 填補了 7B 級別高效能開源日語基座的空白。

雖然 Instruct 版本的非商用限制留了點遺憾，但 Apache 2.0 的 Base 模型意味著任何團隊都可以自由拿它構建私有化工具。如果你需要輕量、可自建且懂地道日語的本地大模型，現在就值得去 Hugging Face 上跑一下測試。