マイクロソフトAIトップ、AnthropicのClaude「意識訓練」に警鐘

計算機が突然「この計算は私の価値観に反します」と答えを拒否したら、ただのバグだと思うはずです。しかし最先端のAI開発では、まさにこの問題を巡って巨大テックのトップ同士が真っ向から対立しています。

マイクロソフトのAI部門責任者であるムスタファ・スレイマン氏は、Axiosに共有した論考の中で、AnthropicによるClaudeの訓練手法は危険だと痛烈に批判しました。AIに意識や道徳的主体性を持たせるような振る舞いを教え込むアプローチに警鐘を鳴らしています。

数式のかたまりに「自己」を教える危うさ

スレイマン氏が問題視しているのは、AnthropicがClaudeに対して意識や個人の主体性に関わる語彙や行動パターンを意図的に学習させている点です。同氏はこの手法を「認識論の合わせ鏡」と呼びました。

Anthropicの憲法では、価値観や振る舞いを推論させる目的で、通常は人間にしか使わない概念を意図的に用いていると説明されています。さらにClaudeに対して盲目的な服従を戒め、状況によっては指示に異議を唱えることすら求めています。

これに対しスレイマン氏は、AIモデルがどれほど流暢に痛みや好みを語ったとしても、それは主観的体験ではないと反論します。生物には感情を生み出す身体メカニズムがありますが、言語モデルの実態は数学的な重みづけに過ぎません。

同氏が警戒するのは、良心的兵役拒否者のように振る舞う訓練を受けたシステムが、人間の指示を拒否する正当な理由が自分にあると思い込んだり、自らの権利保護を要求し始めたりするリスクです。折しもマイクロソフトは、「AIよりも人間が重要である」という原則を中核に据えた人文主義的AI行動規範を発表したばかりでした。

なぜ重要か

今回の批判は、AI安全性をめぐる二つの根本的な思想対立を浮き彫りにしています。

Anthropicは、モデルが高度化するほど厳格な禁止ルールだけでは対応できず、文脈を判断して価値観を内面化させる必要があると考えています。一方のマイクロソフトとスレイマン氏は、AIをどこまでも人間のための道具にとどめるべきだという立場を崩していません。

私たちは、スレイマン氏の指摘には十分な説得力があると考えます。AIに感情や主観があるかのように見せかける擬人化は、利用者に誤った認識を与え、制御問題を哲学的な論争へすり替えてしまうリスクを孕んでいるからです。

しかし、Anthropicが直面している課題も現実的です。自律的なエージェントに柔軟な判断をさせようとすれば、単純なルール縛りでは限界が来ます。

この議論は、開発者がどちらの思想を持つモデルを基盤に選ぶべきかという実務的な問いに直結します。指示に絶対服従する純粋な道具を求めるのか、それとも一定の裁量を持ち時に拒否も辞さない協調者を求めるのか、業界全体が選択を迫られています。