Musubi 开源 PolicyLM-1.7B：支持自定义规则，审核延迟低于 100 毫秒

PolicyLM-1.7B 是一个专门用来做内容审核和 AI 安全护栏的 1.7B 开源分类模型。它的核心卖点很简单：你不需要每次改规则都去重新标注数据、微调模型，直接把自然语言写成的平台审核规则喂给它，它在读取每条消息的同时就会套用新规则完成打分。

普通的内容分类器速度快，但分类维度在训练时就写死了，改一条规则就得重新训练；大语言模型虽然懂规则，但推理太慢、成本太高，根本没法塞进实时聊天里。PolicyLM-1.7B 走的是折中路线，它不逐字生成文字回复，而是单次前向传播直接输出 0 到 1 之间的多标签置信度分数。

它能做什么

PolicyLM-1.7B 专为高并发、低延迟的实时场景设计，比如游戏大厅、直播公屏、私信系统，或者在用户提问到达大模型之前做前置拦截。

在硬件开销上，它可以在一块 24GB 显存的 L4 GPU 上跑，甚至支持在笔记本电脑上部署。在 6 个自定义分类的测试下，L4 上的短文本中位延迟只有 35 毫秒，整体延迟严格压在 100 毫秒以内，成本足够支撑全量流量审核，不需要做抽样折衷。

模型默认支持英伟达 Aegis 的 23 类标准安全违规定义，也允许你用自然语言自己加规则。比如你可以明确写出「允许游戏内的技术吐槽，但拦截针对玩家的人身攻击」，模型会根据你的例外条款调整判定。

在评测中，它在 20B 参数以下自定义政策测试里拿到了约 83% 的准确率。在提示词注入和越狱防护测试中，它的表现接近专门的 Guardrail 专用模型，同时评测覆盖了 19 种语言。

怎么跑起来与限制

模型基于 BidirLM-1.7B-Embedding 构建，衍生自 Qwen3-1.7B-Base，代码采用 Apache 2.0 协议开源，目前权重已经托管在 Hugging Face。

需要注意的是运行环境，官方推理脚本目前要求 transformers 4.57.6 版本，暂不支持 5.x。推理工具包内置了针对防审核文本的清洗功能，能自动处理替换字符、空格隔开和 Base64 编码，但对黑客语（Leetspeak）的识别仍有遗漏。

此外它有一些明确的技术边界：模型总上下文长度为 2048 token（包含规则和输入内容），只支持纯文本，每次只处理单条消息而无法结合上下文对话历史。它只返回各个分类的打分，不会写出具体的违规判定理由；在语言支持上以英语最强，泰米尔语表现最弱。

为什么重要

如果你正在运营实时社区，或者在搭需要极低延迟的 Agent 前置防火墙，PolicyLM-1.7B 很值得立即部署测试。它把传统分类器的毫秒级速度与大模型的指令可塑性结合了起来，解决了规则频繁迭代时的重训痛点。

我们认为这种「只做决策、不吐文字」的小尺寸决策模型，是垂直安全领域非常务实的技术路线。它不可能替代大模型去处理复杂的封禁申诉复核，但作为第一道把关的过滤器，它的性能和灵活性足以帮团队省下大笔 API 费用与重训时间。