Vectara、企業向け「幻覚修正ツール」提供開始：誤答率を0.9%に低減

企業が生成AIを導入する際、最大の障壁となるのがハルシネーションです。金融や法務、医療などの規制産業では、AIが自信満々に語る事実無根の回答が重大なリスクにつながります。

企業向けAIエージェントを手がけるVectaraは、AIの不正確な出力を検知して修正する新機能「Hallucination Corrector」を発表し、自社プラットフォームに直接組み込みました。

推論モデルの台頭で逆に増えたハルシネーション

従来の言語モデルにおけるハルシネーション発生率は、平均して3パーセントから10パーセント程度とされてきました。

しかし、問題を細かく分解して思考プロセスを踏む推論型モデルが登場したことで、この誤情報率がむしろ上昇しています。

Vectaraの調査によると、推論モデルであるDeepSeek-R1のハルシネーション率は14.3パーセントに達し、前世代のDeepSeek R3の3.9パーセントから大きく跳ね上がりました。OpenAIのGPT-o1も2.4パーセントとなり、GPT-4oの1.5パーセントを上回っています。科学誌New Scientistも同様の検証結果を報告しています。

Vectaraの創業者兼CEOであるAmr Awadallah氏は、モデル自体の進歩は見られるものの、金融やヘルスケアなどの高精度が求められる業界基準には依然として遠く及ばないと指摘しています。

出力を参照元と照合し、最小限の修正で整える

Vectaraによると、初期テストにおいてこのコレクターはハルシネーション率を約0.9パーセントまで引き下げることに成功しました。

この機能は、同社が提供する評価モデル「HHEM」と連携して動作します。HHEMは実行時に生成結果を参照ドキュメントと比較し、0から1のスコアで正確性を判定します。0は完全な誤り、1は完全な正確さを示し、先月はHugging Faceで25万回以上ダウンロードされました。

事実と異なる箇所が見つかると、コレクターはなぜそれが誤りなのかの解説とともに、原文のニュアンスを崩さない最小限の修正版を出力します。

エンドユーザー向けに修正後のテキストを自動表示できるほか、社内の専門家が修正履歴を確認してモデルのガードレールを調整するためのテストツールとしても利用可能です。

なぜ重要か

社内データを活用したAI検索やアシスタントを本番運用したい企業にとって、回答の正確性を担保する仕組みは不可欠です。プロンプトによる指示だけで誤出力を防ぐには限界があり、独立した検証層を設けるアプローチは現場にとって試す価値があります。

巨額の費用をかけて基盤モデルそのものを学習し直すのではなく、既存の推論出力をリアルタイムに補正する仕組みに特化した点は、非常に現実的で賢い戦略に見えます。特に推論型モデルのハルシネーションが増加傾向にある今、需要は大きいでしょう。

ただし、誤り率を0.9パーセントに抑え込めたとしても、ゼロになったわけではありません。医療や契約書の監査など、一切のミスが許されない業務では依然として人間のダブルチェックが必須です。また、実行時照合による応答遅延やコストの増加と、精度のトレードオフをどう見極めるかが導入の鍵になります。