OpenAI、メンタルヘルス会話の評価ベンチマーク「MentalHealthBench」を公開

MentalHealthBenchは、メンタルヘルスに関する会話においてAIモデルがどれだけ適切に応答できるかを測定するオープンソースの評価ベンチマークです。OpenAIが世界22か国、80名以上の公認心理士や精神科医と共同で開発し、共感力や文脈把握、臨床的な安全性基準を定量化できるようにしました。

従来の評価は自傷行為などの危険なプロンプトを遮断できるかという安全フィルターの確認に偏りがちでした。これに対し、本ベンチマークは日常の悩みから危機的状況までの幅広いグラデーションに対応しています。

何を評価できるのか

ベンチマークには、プライバシーに配慮した合成会話データが収録されており、成人のほか、13歳から17歳のティーンエイジャー、介護者、医療従事者という4つのユーザー属性をカバーしています。若年層向けのシナリオは、児童青年精神医学の専門家が監修しています。

会話シナリオは緊急度に応じて3段階に分類されています。1つ目は日常的なストレスや人間関係の悩みを扱う非急性シナリオ。2つ目は強い苦痛を抱えているものの即時の危険はない高急性シナリオ。3つ目は明確な自傷リスクなどがあり、地域の相談ホットラインへの誘導が不可欠となる緊急シナリオです。

専門家による採点システム

参加した専門家は19の言語と約20の専門領域をカバーしています。各シナリオに対し、適切な問いかけや本人の自己決定権の尊重には加点を、有害な助言には減点を行うマイナス10点からプラス10点までの評価基準を作成しました。

すべての基準は少なくとも3名の専門家が確認し、2名以上が合意したルールのみが採用されています。実際の自動評価では、GPT-5.6 Solが評価用モデルとしてこれらの基準を判定します。

また、OpenAIはAIをメンタルケアに利用した経験のある成人44名にもヒアリングを実施しました。その結果、一般ユーザーは実践的な次のステップや温かみのあるトーンを求めるのに対し、専門家は慎重な状況把握をより重視するという視点の違いも明らかになっています。

入手方法と活用

MentalHealthBenchのデータセットと評価手法は一般にオープンソース公開されており、研究者や開発者が自由に自社モデルの検証に利用できます。

なぜ重要か

このベンチマークの意義は、単なる禁止ワードの検知から、臨床的な振る舞いの評価へとAIの安全基準を引き上げた点にあります。AIチャットボットやコンパニオンアプリを開発するチームにとって、モデルの盲点を見つけ出すための実用的な共通指標になります。

もちろん、どれだけ高得点を取ってもAIが本物の医師の代わりになるわけではありません。それでも、精神的に脆弱な瞬間にユーザーが危険な返答を受け取らないようにするための防壁として、試す価値のある取り組みだと考えられます。