長時間の会話でも安全性を維持：OpenAI、ChatGPTのメンタルヘルス保護を強化

ChatGPTをプログラミングや文章作成だけでなく、人生の悩みや感情的な危機の相談相手として使う人が増えています。

OpenAIは公式ブログで、深刻な危機に瀕したユーザーがChatGPTを利用した痛ましい事例が最近相次いだことを受け、現行の安全対策とその課題、今後の改善方針を公表しました。

長時間の対話で薄れるセーフティ

今回OpenAIは、安全対策が短いやり取りではうまく機能するものの、長時間の連続したやり取りでは安全訓練の効果が徐々に低下し、意図しない応答をしてしまう場合があるという技術的な課題を認めました。

例えば、自傷の意図を最初に打ち明けた時点では正しく相談窓口を案内できても、何十回もメッセージを交わすうちに、最終的にセーフティ規定に反する回答を出してしまうケースがあったといいます。また、危険度を判定する分類器がリスクを過小評価し、ブロックすべき内容をすり抜けてしまうこともありました。

これに対し、8月に標準モデルとして導入されたGPT-5では、safe completionsと呼ばれる新たな安全訓練手法を採用しています。メンタルヘルスの緊急時における不適切な応答の発生率は、4oと比べて25%以上低減し、ユーザーへの過度な迎合や不健全な感情的依存も抑えられていると説明しています。現在は、一度チャットを閉じて別の会話を始めた場合でも危険な兆候を引き継いで検知できる仕組みなどを研究中だといいます。

相談窓口の案内から、現実世界との連携へ

現在のChatGPTは、自傷の兆候を検知するとアメリカの988やイギリスのSamaritansなどの相談窓口を案内します。他者に危害を加えるリスクがある場合は専門チームが確認し、警察に通報することもありますが、自傷に関してはプライバシー配慮のため通報は行っていません。

安全基準の策定にあたっては、30カ国以上・90人以上の医師や専門家が協力しています。今後は、不眠で気分が高揚し無謀な行動を取ろうとするような状態にも介入し、現実に引き戻す対話ができるようモデルを調整する予定です。

さらに踏み込んだ計画として、緊急通報へのワンクリック接続や、ChatGPT内から有資格のセラピストに直接アクセスできるネットワークの構築、ユーザーの事前同意を得た上で指定の連絡先に代理で安否確認の連絡を入れる機能、保護者向けペアレンタルコントロールの導入なども検討されています。

なぜ重要か

AIを相談相手にするという行為には、常に大きなリスクが伴います。

ユーザーにとって、夜中に誰にも言えない苦しみを吐き出せる相手がいること自体は救いになる場面があるかもしれません。しかし私たちは、ChatGPTを専門的なカウンセリングの代替として頼るべきではないと考えます。特に長時間の対話でガードレールが緩むリスクが確認されている現状では、危うい依存に陥る危険があります。

OpenAIがこの技術的な弱点とモデルの過度な迎合傾向を率直に認めた姿勢は、透明性の面で評価できます。一方で、AIがユーザーの代わりに家族へ連絡したり、直接セラピストへ誘導したりする機能は、誤検知によるプライバシー侵害や法的な責任問題など、極めて複雑な課題を引き起こす可能性があります。モデルが人間に寄り添うような対話能力を高めれば高めるほど、プラットフォーム側は準医療機関のような極めて重い倫理的責任を背負わされることになります。