Musubi 開源 PolicyLM-1.7B：支援自定義規則，稽核延遲低於 100 毫秒

PolicyLM-1.7B 是一個專門用來做內容稽核和 AI 安全護欄的 1.7B 開源分類模型。它的核心賣點很簡單：你不需要每次改規則都去重新標註資料、微調模型，直接把自然語言寫成的平臺稽核規則餵給它，它在讀取每條訊息的同時就會套用新規則完成打分。

普通的內容分類器速度快，但分類維度在訓練時就寫死了，改一條規則就得重新訓練；大語言模型雖然懂規則，但推理太慢、成本太高，根本沒法塞進即時聊天裡。PolicyLM-1.7B 走的是折中路線，它不逐字生成文字回覆，而是單次前向傳播直接輸出 0 到 1 之間的多標籤置信度分數。

它能做什麼

PolicyLM-1.7B 專為高併發、低延遲的即時場景設計，比如遊戲大廳、直播公屏、私信系統，或者在使用者提問到達大模型之前做前置攔截。

在硬體開銷上，它可以在一塊 24GB 視訊記憶體的 L4 GPU 上跑，甚至支援在筆記型電腦上部署。在 6 個自定義分類的測試下，L4 上的短文本中位延遲只有 35 毫秒，整體延遲嚴格壓在 100 毫秒以內，成本足夠支撐全量流量稽核，不需要做抽樣折衷。

模型預設支援輝達 Aegis 的 23 類標準安全違規定義，也允許你用自然語言自己加規則。比如你可以明確寫出「允許遊戲內的技術吐槽，但攔截針對玩家的人身攻擊」，模型會根據你的例外條款調整判定。

在評測中，它在 20B 引數以下自定義政策測試裡拿到了約 83% 的準確率。在提示詞注入和越獄防護測試中，它的表現接近專門的 Guardrail 專用模型，同時評測覆蓋了 19 種語言。

怎麼跑起來與限制

模型基於 BidirLM-1.7B-Embedding 構建，衍生自 Qwen3-1.7B-Base，程式碼採用 Apache 2.0 協議開源，目前權重已經託管在 Hugging Face。

需要注意的是執行環境，官方推理指令碼目前要求 transformers 4.57.6 版本，暫不支援 5.x。推理工具包內建了針對防稽核文本的清洗功能，能自動處理替換字元、空格隔開和 Base64 編碼，但對駭客語（Leetspeak）的識別仍有遺漏。

此外它有一些明確的技術邊界：模型總上下文長度為 2048 token（包含規則和輸入內容），只支援純文本，每次只處理單條訊息而無法結合上下文對話歷史。它只返回各個分類的打分，不會寫出具體的違規判定理由；在語言支援上以英語最強，泰米爾語表現最弱。

為什麼重要

如果你正在運營即時社群，或者在搭需要極低延遲的 Agent 前置防火牆，PolicyLM-1.7B 很值得立即部署測試。它把傳統分類器的毫秒級速度與大模型的指令可塑性結合了起來，解決了規則頻繁迭代時的重訓痛點。

我們認為這種「只做決策、不吐文字」的小尺寸決策模型，是垂直安全領域非常務實的技術路線。它不可能替代大模型去處理複雜的封禁申訴複核，但作為第一道把關的過濾器，它的效能和靈活性足以幫團隊省下大筆 API 費用與重訓時間。