Meta、安全なAI開発を支援する「Purple Llama」と「Llama Guard」を発表

Purple Llamaは、オープンソースの生成AIモデルを使って安全にアプリケーションを構築するためのセーフティツールスイートだ。

サイバーセキュリティにおける「パープルチーム（攻撃側のレッドチームと防御側のブルーチームを統合したアプローチ）」の考え方を導入し、リスクの評価と防御策の両方をカバーしている。

公開されたコンポーネントは寛容なライセンスで提供され、研究だけでなく商用利用も認められている。

主な機能とツール

今回の初期リリースには、サイバーセキュリティ評価ベンチマークと入出力フィルタリング用モデルの2つが含まれている。

サイバーセキュリティ分野では、大規模言語モデル向けの業界初となる共通安全評価指標を提供した。モデルが安全でないコードを提案する頻度を測定したり、悪意あるコードの生成やサイバー攻撃への加担を防ぐ耐性を定量的にテストできる。

入出力の防御ツールとして提供されるのが「Llama Guard」だ。公開データセットで学習された専用の基盤モデルで、ユーザーからのプロンプトやモデルの出力内容を監視し、有害・規約違反コンテンツを検知して遮断する。

Metaは手法をまとめた論文も同時に公開しており、開発者は規定のルールをそのまま使うだけでなく、自社の要件に合わせてLlama Guardを微調整することも可能だ。

利用方法

このプロジェクトはHugging Face、AWS、Google Cloud、Microsoft、Nvidiaなど多数のパートナーと連携して展開されている。

コードやLlama Guardのモデル重みはオープンに公開されており、開発者は自身の推論パイプラインにセーフティゲートウェイとして組み込むことができる。

なぜ重要か

オープンモデルを実際のサービスに導入する際、安全性検証と不適切コンテンツのフィルタリングは最大のハードルになりやすい。

自前でセーフティ分類器を一から学習・運用する余裕のない開発者にとって、商用利用可能なLlama Guardと客観的なセキュリティ評価基準が公式に提供された価値は大きい。オープンモデルで対話アプリやコーディング支援ツールを運用しているなら、導入を検討すべき第一候補になる。