Stability AI 发布首个日语模型：70 亿参数，基础版开源可商用

Japanese StableLM Alpha 是 Stability AI 推出的首个 70 亿参数日语通用大模型，如果你正在寻找一个能本地部署、懂日语甚至可以商用的开源语言模型，它是目前最值得看的新选项。

这次发布的模型分为两个版本：用于通用文本生成的基础模型 Japanese StableLM Base Alpha 7B，以及经过指令对齐的 Japanese StableLM Instruct Alpha 7B。它们不仅可以用来做日语文本创作、摘要和问答，也能作为下游日语任务微调的底座。

7500 亿 token 训练，引入新架构

该模型主要使用网络抓取的海量数据进行训练，训练集绝大部分是日语和英语文本，另外还有约 2% 的源代码数据。除了常见的公开数据集，数据来源还包括 Stability AI Japan 自己构建的数据集，以及与 EleutherAI Polyglot 项目日本团队、本地社区成员合作整理的语料。

训练框架基于 EleutherAI 的 GPT-NeoX 进行了扩展，在架构上引入了 SwiGLU 激活函数和 xPos 旋转位置编码等新技术。整个训练周期跨多个 epoch，累计处理了多达 7500 亿个 token。

经过监督微调（SFT）的 Instruct 版本，在指令遵循能力上有了明显提升。按照 EleutherAI 的 lm-evaluation-harness 基准测试，在包含句子分类、句对判断、问答和句子摘要等 8 项评测任务中，Instruct 模型跑出了 54.71 的平均分，大幅领先参与对比的其他 4 组日语开源大模型。

怎么下载，商用规则如何

目前两个模型都已经上传到了 Hugging Face Hub，开发者可以直接拉取权重进行推理或二次微调。

需要注意的是两者的授权协议完全不同。Base 模型采用了非常宽松的 Apache License 2.0 协议，允许个人和企业免费商用，门槛很低。

而跑分更高的 Instruct 版本目前被定为研究模型，仅供学术和非商用研究使用。如果你打算直接做商业产品落地，需要使用 Base 模型自己补充业务数据进行指令微调。

为什么重要

对于需要处理日语业务的开发者和出海团队来说，这是目前开源社区里少有的高分底座。以往日语模型大多停留在参数量偏小或语料不充分的阶段，Japanese StableLM 填补了 7B 级别高性能开源日语基座的空白。

虽然 Instruct 版本的非商用限制留了点遗憾，但 Apache 2.0 的 Base 模型意味着任何团队都可以自由拿它构建私有化工具。如果你需要轻量、可自建且懂地道日语的本地大模型，现在就值得去 Hugging Face 上跑一下测试。