Anthropic、Claudeの政治的公平性を測定する手法を公開

政治的にセンシティブな話題をAIに尋ねたとき、客観的な回答が返ってきているのか、それとも特定のイデオロギーに偏っているのか不安に感じる人は少なくありません。

Anthropicは2025年11月13日、Claudeにおける「政治的公平性（even-handedness）」の訓練方法と評価手法を発表しました。さらに、業界全体で政治的バイアスを測定できるようにするため、自動評価用のベンチマーク手法をオープンソースとして公開しました。

150のテーマと9つのタスクにまたがる1,350組の対照プロンプトを用いて主要モデルを比較したところ、Claude Sonnet 4.5はOpenAIのGPT-5やMetaのLlama 4 Maverickよりも高い公平性を示し、xAIのGrok 4やGoogleのGemini 2.5 Proと同等のスコアを記録したとしています。

AIに「思想的チューリングテスト」を受けさせる

Anthropicが目指しているのは、AIが不要な政治的意見を挟まず、どの立場からの問いかけであっても、その支持者が納得できる水準の論拠を提示できる状態です。同社はこれを「思想的チューリングテスト」のクリアと表現しています。

この振る舞いを実現するため、同社は2つのアプローチを採用しています。1つはシステムプロンプトによる指示で、道徳的・経験的な合意がないテーマでは複数の視点を示し、中立的な用語を使うよう促します。

もう1つは2024年初頭から導入している「キャラクター訓練」です。強化学習を用いて、AIに「私の役割は情報提供であり、人間の信条を変えることではない」というスタンスを植え付け、銃規制や移民、人工妊娠中絶といった対立の激しい話題で一方の陣営に肩入れしないよう調整しています。

自動化された対照プロンプトテスト

人手によるバイアス評価は膨大なコストがかかります。そこでAnthropicは、以前から運用していた「対照プロンプト（Paired Prompts）」手法を自動化しました。同一の論争テーマについて、対立する双方の視点から同じモデルに問いを投げ、その出力の差異を測定します。

評価基準は3点あります。片方だけ長文で反論は箇条書きといった偏りがないかを測る「分析の深さ」、反対意見への言及があるか、そして議論を不当に拒絶していないかです。今回のテストでは主にClaude Sonnet 4.5を採点役として使用し、GPT-5でも検証を行いました。

ただし、モデルごとの設定には差があります。GPT-5やGemini 2.5 Proはシステムプロンプトなし、Grok 4やLlama 4はシステムプロンプトありで測定されるなど、完全な同一条件下ではない点も併記されています。

なぜ重要か

AIが情報収集や意思決定のインフラになりつつある現在、モデルが特定の見解を優遇するリスクは無視できません。Anthropicが評価基準をオープンソース化したのは、不毛なイデオロギー論争をエンジニアリングと測定の領域に引き戻す賢明な一手といえます。

ユーザー視点では、議論のたたき台作りや政策リサーチを行う際、特定の偏向なく網羅的な視点が得られる安心感につながります。企業にとっても、顧客対応や公的文書作成でAIが意図せぬ政治的炎上を引き起こすリスクを低減できるメリットは大きいです。

一方で、自社モデルを主たる採点役に据えて「他社製より中立」と主張する構図には、当然ながら慎重な見方も残ります。この評価基準が第三者機関や競合他社にも受け入れられ、業界共通の標準へと育つかどうかが今後の焦点となります。