NVIDIA、対話AIの暴走を防ぐ「NeMo Guardrails」をオープンソース公開

NeMo Guardrailsは、大規模言語モデル（LLM）を活用したアプリの暴走を防ぐためにNVIDIAが公開したオープンソースソフトウェアだ。AIチャットボットが話題から逸脱せず、正確で安全な回答を返すよう制御する。

テキスト生成アプリに安全性を組み込むために必要なコード、実装例、ドキュメントがすべて揃っており、ChatGPTをはじめとするあらゆるLLMに対応している。

何ができるのか

開発者はこのツールを使い、アプリに3種類のガードレールを設定できる。

1つ目はトピックに関するガードレールだ。顧客対応ボットが天気の質問に答えてしまうような脱線を防ぎ、自社の専門領域内に留まらせる。

2つ目は安全性に関するガードレールだ。不適切な表現を排除し、信頼できる情報源のみを参照して回答を生成するようルールを課す。

3つ目はセキュリティに関するガードレールだ。アプリが外部ツールと通信する際、安全性が確認されている接続先だけにアクセスを制限する。

導入と連携

機械学習の専門知識やデータサイエンティストのスキルは不要で、一般的なエンジニアが数行のコードを書くだけで安全ルールを追加できる。

オープンソースであるため、開発現場で定番となっているツールとも連携しやすい。代表的なライブラリであるLangChainの上でそのまま動作し、創設者のHarrison Chase氏も既存ワークフローへ簡単に導入できる点を評価している。自動化ツールのZapierも連携を表明した。

コードの大半はGitHub上で利用できるほか、NVIDIA NeMoフレームワークや商用向けのNVIDIA AI Enterpriseの一部としても提供される。

なぜ重要か

顧客向けチャットボットや社内問い合わせシステムを開発しているなら、すぐにGitHubから試す価値がある。プロンプトの工夫だけでモデルの誤答を防ぐやり方は限界があるが、独立したルール層を設けることで運用の確実性がぐっと上がる。

ただし、安全性を厳しくしすぎると応答の自由度やスピードが落ちる恐れもある。どこまで厳密にガードをかけ、どこまでモデルの柔軟性に任せるか、自社の要件に合わせた調整が必要になる。