仏Mistral、コンテンツモデレーションAPIを公開

AI アプリを一般公開する開発者にとって、最大の不安はモデルの暴走です。ハルシネーションだけでなく、資格のない専門アドバイスを勝手に始めたり、個人情報を漏らしたりするリスクが常に付きまといます。

フランスの AI スタートアップ Mistral は、コンテンツモデレーション用の新しい API を公開しました。同社のチャットボットサービス Le Chat で実際に使われているセーフティシステムと同じもので、外部の開発者も自社の基準に合わせて活用できるようになります。

文脈を読める 9 つの安全フィルター

このモデレーション API の裏側では、ファインチューニングされた Ministral 8B が動作しています。入力されたテキストを 9 つのカテゴリに分類する仕組みです。

対象となるのは、性的表現、ヘイトと差別、暴力と脅迫、危険行為や犯罪、自傷行為、健康、金融、法律、そして個人特定情報です。暴力やヘイトだけでなく、資格のない健康相談や法律アドバイス、個人情報の漏洩といった生成 AI 特有のリスクに踏み込んでいるのが特徴です。

エンドポイントは 2 種類用意されています。単体の生テキストを判定するものと、会話の流れを考慮する対話型です。問題のある発言は文脈に依存することが多いため、対話型エンドポイントでは過去のやり取りを踏まえた上で最後のメッセージを判定します。

言語面ではマルチリンガル対応をうたっており、アラビア語、中国語、英語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語などで学習されています。

あわせて Mistral はバッチ API も発表しました。リアルタイム処理を必要としない大量のリクエストを非同期で処理することで、API の利用コストを 25% 削減できます。OpenAI や Anthropic、Google が提供しているバッチ機能に追従した形です。

なぜ重要か

自前でモデレーションモデルを学習させるのはコストも手間もかかります。8B サイズの軽量モデルをベースにした専用 API が提供されることで、開発者は推論コストを抑えながら安全ガードレールを組み込めるようになります。特に健康や金融といった、AI が勝手に踏み込みがちな領域をあらかじめカテゴリとして用意した点は実用的です。

一方で注意すべき点もあります。モデレーション AI はバイアスを抱えやすく、特定のコミュニティ特有の表現を不当に有害と判定したり、障害に関する話題をネガティブと誤認したりする課題が過去の研究でも指摘されています。また、Mistral は自社テストセットの精度を公表したものの、先行する OpenAI の Moderation API や Google Jigsaw の Perspective API との直接比較は示していません。

すでに Mistral を使ってサービスを構築しているチームにとっては試す価値が十分にあります。ただし、コミュニティ運営など誤判定が致命傷になる用途では、まず本番以外のトラフィックで誤検知の傾向を確認してから導入するのが賢明だと考えられます。