Mistral 推出內容稽核 API：基於 Ministral 8B，支援 9 類有害內容檢測

做 AI 應用的團隊最怕什麼？不怕模型寫得不夠好，就怕它哪天在對話裡亂給醫療建議、洩露個人隱私，或者把使用者帶溝裡。

Mistral 上線了專門的內容稽核 API。這套系統其實就是他們在自家聊天平臺 Le Chat 背後一直在用的稽核工具，現在正式拆出來開放給開發者，支援大家根據自己的安全標準定製。

盯住聊天上下文的 9 道安全門

這套稽核 API 背後跑的是一個經過微調的 Ministral 8B 模型。它主要用來把文本歸類到 9 個維度：涉性內容、仇恨與歧視、暴力與威脅、危險與犯罪、自殘、健康建議、金融建議、法律建議，以及個人身份資訊。

有意思的是，後三項健康、金融和法律針對的正是 AI 最容易越界的場景，也就是防止模型給出未經資質認證的專業建議，同時攔住亂髮隱私資訊的行為。

呼叫方式上，Mistral 開放了兩個介面，一個處理單純的原始文本，另一個專門處理多輪對話。官方解釋說，很多有害內容只有放在上下文裡才看得出來，所以對話介面會結合前面的聊天背景，專門去判定最後一句話違不違規。

語言覆蓋也挺廣。官方表示這套模型天生具備多語言能力，特別針對阿拉伯語、中文、英語、法語、德語、義大利語、日語、韓語、葡萄牙語、俄語和西班牙語等進行了訓練。

除了稽核介面，Mistral 當天還上線了批處理 API。對那些不需要即時回覆的大批次非同步請求，通過批處理呼叫可以把模型費用砍掉 25%。類似降本的做法，OpenAI、Anthropic 和 Google 之前也都推過。

為什麼重要

我們認為，Mistral 這次推出稽核 API 走得很務實。很多中小團隊做 AI 產品時，最頭疼的就是自己搭稽核過濾系統太重，用大模型直接做判定又太貴。現在直接給一個基於 8B 小模型微調的專用介面，呼叫成本和延遲都會低很多，特別是把非資質的醫療、法律、金融建議單獨列出來，非常貼合現在的實際合規需求。

但也有隱患。Mistral 這次公佈了內部測試集的 PR 曲線，卻沒有拿它跟市面上老牌的 OpenAI 稽核 API 或者 Google Jigsaw 的 Perspective API 做橫向跑分對比。而且 AI 做稽核很容易出現系統性偏差，比如以往研究發現，一些毒性檢測模型經常把部分特定人群的非正式用語誤判為違規，或者把討論殘疾的正常帖子標成負面。

總體來看，如果你已經在用 Mistral 跑業務，順手換上它的稽核介面能省不少整合麻煩。如果你的業務強依賴準確率極高的多語言社群風控，目前看起來不妨先在小流量上試跑一段，看看誤傷率表現再做決定。