Mistral 推出内容审核 API：基于 Ministral 8B，支持 9 类有害内容检测

做 AI 应用的团队最怕什么？不怕模型写得不够好，就怕它哪天在对话里乱给医疗建议、泄露个人隐私，或者把用户带沟里。

Mistral 上线了专门的内容审核 API。这套系统其实就是他们在自家聊天平台 Le Chat 背后一直在用的审核工具，现在正式拆出来开放给开发者，支持大家根据自己的安全标准定制。

盯住聊天上下文的 9 道安全门

这套审核 API 背后跑的是一个经过微调的 Ministral 8B 模型。它主要用来把文本归类到 9 个维度：涉性内容、仇恨与歧视、暴力与威胁、危险与犯罪、自残、健康建议、金融建议、法律建议，以及个人身份信息。

有意思的是，后三项健康、金融和法律针对的正是 AI 最容易越界的场景，也就是防止模型给出未经资质认证的专业建议，同时拦住乱发隐私信息的行为。

调用方式上，Mistral 开放了两个接口，一个处理单纯的原始文本，另一个专门处理多轮对话。官方解释说，很多有害内容只有放在上下文里才看得出来，所以对话接口会结合前面的聊天背景，专门去判定最后一句话违不违规。

语言覆盖也挺广。官方表示这套模型天生具备多语言能力，特别针对阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语等进行了训练。

除了审核接口，Mistral 当天还上线了批处理 API。对那些不需要实时回复的大批量异步请求，通过批处理调用可以把模型费用砍掉 25%。类似降本的做法，OpenAI、Anthropic 和 Google 之前也都推过。

为什么重要

我们认为，Mistral 这次推出审核 API 走得很务实。很多中小团队做 AI 产品时，最头疼的就是自己搭审核过滤系统太重，用大模型直接做判定又太贵。现在直接给一个基于 8B 小模型微调的专用接口，调用成本和延迟都会低很多，特别是把非资质的医疗、法律、金融建议单独列出来，非常贴合现在的实际合规需求。

但也有隐患。Mistral 这次公布了内部测试集的 PR 曲线，却没有拿它跟市面上老牌的 OpenAI 审核 API 或者 Google Jigsaw 的 Perspective API 做横向跑分对比。而且 AI 做审核很容易出现系统性偏差，比如以往研究发现，一些毒性检测模型经常把部分特定人群的非正式用语误判为违规，或者把讨论残疾的正常帖子标成负面。

总体来看，如果你已经在用 Mistral 跑业务，顺手换上它的审核接口能省不少集成麻烦。如果你的业务强依赖准确率极高的多语言社区风控，目前看起来不妨先在小流量上试跑一段，看看误伤率表现再做决定。