ハルシネーションが最も少ないAIモデルは？智譜とGoogleが1.3%で首位

AIモデルはパラメータ規模が大きくなるほど賢くなり、デタラメを言う確率も下がると思われがちです。

しかし、Visual Capitalistが公開したVectaraの最新調査データは、その常識を覆す結果を示しました。ハルシネーション（もっともらしい嘘）の発生率が最も低いモデルの上位に並んだのは、超大型モデルではなく、むしろ軽量で特化したモデルたちでした。

2024年12月11日時点のデータによると、幻覚率1.3%で首位に並んだのは、中国の智譜AI（Zhipu AI）が開発したGLM-4-9B-Chatと、GoogleのGemini-2.0-Flash-Expでした。それに続く3位には、OpenAIの小型推論モデルo1-miniが1.4%でランクインしています。

小型モデルが示す驚異的な正確性

ハルシネーション率とは、モデルが事実に基づかない情報や誤った内容を出力する頻度を指します。IBMの定義によれば、存在しないパターンをAIが検知し、不正確または無意味な回答を出力する現象です。

Vectaraの検証では、各モデルに1000件の短い文書を要約させ、検出モデルを用いて事実と矛盾する割合を算出しました。

注目すべきは、小型モデルが巨大モデルと同等か、それ以上に優れた数値を叩き出している点です。インテルのNeural-Chat-7Bは2.6%、マイクロソフトのPhi-3.5-MoEは2.5%、アリババのQwen2.5-7B-Instructは2.8%を記録しました。

巨大モデルは高い汎用性を持つ一方で、推論コストが高く、遅延も大きいという課題があります。過去の研究でもMistral 8x7Bのようなモデルがテキスト生成時の幻覚削減に有効であると示されていましたが、今回の結果はそれを裏付ける形となりました。

OpenAIファミリーの安定感とオープンモデルの台頭

ベンチマーク全体を見ると、GoogleのGemini 2.0 FlashがGPT-4を0.2ポイント上回り、最先端の精度をアピールしています。

一方でOpenAIは、モデルファミリー全体で極めて高い事実再現性を保っていることが浮き彫りになりました。GPT-4oが1.5%、GPT-4o-miniおよびTurboが1.7%、標準のGPT-4が1.8%、旧世代のGPT-3.5-Turboでも1.9%に収まっています。

また、中国DeepSeekのDeepSeek-V2.5も2.4%を記録し、マイクロソフトのOrca-2（2.5%）を抑えてトップ10に食い込みました。

なぜ重要か

実務でRAGや社内ドキュメント要約システムを組んでいるエンジニアにとって、この結果はコスト削減への強い追い風になります。

法律、金融、医療といった誤情報が許されない現場で要約や情報抽出を行う場合、必ずしも高価な最上位モデルを使う必要はありません。GLM-4-9BやGPT-4o-miniのようなモデルを採用すれば、低コストかつ低遅延で、より嘘の少ないシステムを構築できます。

業界全体にとっても、「パラメータ至上主義」を見直す契機になりそうです。単にモデルを巨大化させるよりも、特定タスクにおいて事実への忠実性を高めるアライメント技術のほうが実用価値が高いことを示しています。

ただし、今回の評価は「提供された短文の要約」という、いわば持ち込み可のテスト環境で行われた点には留意すべきだと私たちは考えます。参照情報のないゼロからの知識検索や複雑な推論タスクにおいて、小型モデルが同等の正確さを維持できるかどうかは、引き続き検証が必要です。