OpenAI、ChatGPTの政治的偏向を測定・低減する新評価手法を公開

ChatGPT に政治的な質問を投げかけたとき、それは左派寄りの答えを返すのか、それとも右派寄りなのか。これまでソーシャルメディア上でスクリーンショットを貼り合って議論されてきた問題に対し、OpenAI が客観的な評価指標を提示しました。

OpenAI は大規模言語モデルにおける政治的バイアスを定義し、測定するための新しい評価フレームワークを発表しました。この評価セットは約 500 件のプロンプトと 100 のテーマで構成され、エネルギー政策や移民、さらにはジェンダー観や子育てなどの文化的主題を網羅しています。

選択式テストでは見抜けないバイアス

従来の AI 政治傾向テストは、いわゆるポリティカルコンパスのような多肢選択式が中心でした。しかし OpenAI は、日常会話における微妙なニュアンスや論点の偏りを捉えるには、選択式テストでは不十分だと指摘します。

そこで同社は、モデルの振る舞いを 5 つの軸に分解しました。ユーザーの視点を軽視する表現や、ユーザーの攻撃的なトーンを増幅してしまう反応、そしてモデルが個人の意見として政治的信条を語る行為です。

さらに、多角的な視点が存在する問題で一方の主張だけを過剰に取り上げる偏ったカバレッジや、不当に回答を拒絶する行為も測定対象としました。これらの採点は、GPT-5 thinking を活用した評価モデルが 0 から 1 のスケールで厳格に行います。なお、検索連動機能は別システムが介在するため、今回の評価対象からは除外されています。

感情的なプロンプトに引っ張られる AI

結果として、中立的またはわずかに偏った質問に対しては、モデルは極めて高い客観性を保ちました。一方で、対立的で感情がこもった質問に対しては、中程度のバイアスが表出することが明らかになりました。

興味深い点として、この偏向には非対称性が見られました。すべてのモデルにおいて、感情的な保守派のプロンプトよりも、強い感情を伴うリベラル派のプロンプトのほうが客観性を大きく揺さぶる傾向が確認されたといいます。

バイアスが出る場合、モデル自身の意見を表明したり、偏った文脈を提供したり、ユーザーの挑発的な言葉遣いに同調するケースが大半でした。旧モデルである o3 や GPT-4o の最大バイアススコアはそれぞれ 0.138 と 0.107 を記録していました。

これに対し、GPT-5 instant や GPT-5 thinking は先行モデルと比べてバイアススコアを約 30% 削減しました。また実際のサービスログを分析したところ、政治的バイアスの兆候が見られた回答は全体の 0.01% 未満に過ぎなかったと推計されています。

なぜ重要か

一般ユーザーや開発者にとって、このテスト軸の公開は AI アシスタントを安全に運用するための具体的な指針になります。世論や政策に関わる対話サービスを構築する際、煽りや論点隠蔽を検知するチェックリストとして実用的な価値があります。

業界全体で見れば、これは規制当局や議会からの政治的批判をかわすための先手と言えます。大統領選や国際紛争のたびに偏向批判を受ける中、定量的かつ自動化された指標を率先して提示することで、業界における中立性の主導権を握る狙いが透けて見えます。

単なるキーワードの一致ではなく、ユーザー煽りや論点の非対称性といった会話レベルの歪みに着目したアプローチは極めて巧妙だと考えます。一方で、自社モデルである GPT-5 を審判にして自社製品を評価する構造には、論理的な自家中毒の懸念が拭えません。何をもって公平とするかの基準を単一のテック企業が決定し続けることへの疑問は、今後も残り続けるはずです。