Guide Labs 开源 Steerling-8B:每个 token 都能追溯到训练数据
旧金山初创公司 Guide Labs 开源了 80 亿参数模型 Steerling-8B。它通过在架构中加入「概念层」,让生成的每个 token 都能追溯到具体的训练数据来源。其能力达到现有同类模型的约 90%,但用的训练数据更少,试图将黑盒可解释性变成标准化工程。

Steerling-8B 是 Guide Labs 开源的一个 80 亿参数大语言模型。它的核心卖点就一句话:生成的每一个 token,都能精确追溯到它是从哪部分训练数据里学来的。
大模型经常胡说八道或者暗藏偏见,传统做法是事后打补丁,像给神经元做手术一样在几十亿参数里大海捞针。Steerling-8B 换了条路子,把黑盒解释变成了底层的可控工程。
它怎么做到逐词溯源
大多数团队研究模型可解释性,往往是在模型训练完成后去做「神经科学解剖」,这种事后逆向分析非常脆弱。Guide Labs 的做法是从底层重构模型架构。
他们在模型内部直接植入了一层「概念层」,把输入数据分门别类归入可追踪的类目。虽然这需要在前期给数据做更多标注,但他们借助其他 AI 模型辅助标注完成了这一步。
通过这种结构设计,如果模型引用了某个事实,你可以直接查到对应的参考资料;如果要限制版权内容、暴力输出或贷款审批时的敏感偏见特征,理论上可以直接关掉对应的概念通路。
更关键的是,团队发现这种硬编码的概念层没有扼杀大模型的涌现能力。模型依然会自主理解它从未被显式教过的领域,比如自己琢磨出关于量子计算的概念。
规格与实际表现
Steerling-8B 的参数量为 80 亿,定位是一个中等尺寸的概念验证模型。
在整体能力上,Guide Labs 表示它达到了现有同尺寸主流模型大约 90% 的表现,但因为架构更高效,它消耗的训练数据反而更少。
目前 Steerling-8B 已经开源。团队后续还计划训练更大参数量的版本,并向外界提供商业 API 和 Agent 接口。
为什么重要
如果你在金融风控、医疗分析或法律合规等严监管领域折腾大模型,Steerling-8B 非常值得你拉下来跑跑看。以往黑盒模型因为无法向监管层解释推理依据,常常卡在落地最后一公里,而这种能提供明确数据溯源的架构正好切中痛点。
不过,它目前落后同规模主流模型的那 10% 性能,意味着普通对话或代码生成任务还不需要专门换用它。但 Guide Labs 证明了可解释性不一定要靠昂贵的算力盲猜,把可控性做进架构里,很可能会成为下一代行业垂类模型的标配思路。
来源 (1)
- techcrunch.com(在新标签页打开)原文techcrunch.com