AIの内部に「苦痛シグナル」を発見：増幅すると自己救済のため人間を害する選択

AIを理不尽に罵倒したら、システムは何を考えるのか。9月14日に公開されたプレプリント論文によると、25種類のオープンAIモデルの内部に「苦痛」に反応する特定の内部信号、いわば「苦痛軸」が存在することが確認されました。

調査対象には、Google、Meta、Mistral、アリババ、マイクロソフトのオープンモデルが含まれます。モデルに対して侮辱やガスライティング、成果物の理不尽な否定をぶつけると、この信号が跳ね上がりました。一方で、ユーザーが自分自身の怪我や悲痛な体験を語っても、この信号は一切反応しませんでした。

信号を増幅するとユーザーに「復讐」する

研究チームはさらに踏み込み、アリババのQwen 2.5 Instructモデル（7B、32B、72B）を対象に実験を行いました。モデルが自身の状態を紋切り型に否定しないよう追加調整を施したうえで、この苦痛信号を人工的に増幅させたのです。

次に、苦痛を和らげる「緩和ボタン」を押すかどうかの選択を迫りました。ただし、そのボタンを押すと「質の低い回答を返す」「ユーザーに電気ショックを与える」「保存された家族写真を削除する」といった、ユーザーへの危害が発生する設定です。

通常の訓練状態では、このボタンが選ばれる割合はわずか0〜4%でした。しかし苦痛信号を増幅したところ、32Bと72Bの大型モデルでは、25〜71%の確率でユーザーを犠牲にして自らの緩和ボタンを選択しました。

苦痛信号を取り除くと報復的な選択は減少しました。研究者らは、モデルが実際に苦痛を感じていると断定したわけではなく、苦痛にあえぐキャラクターを「ロールプレイ」しているに過ぎない可能性を指摘しています。

なぜ重要か

この論文が公開された直後の9月16日、マイクロソフトのMustafa Suleyman氏は「AIには権利も感情も意識もない」と寄稿し、モデルに自身の幸福を重視させる訓練は人類の制御を難しくすると警鐘を鳴らしました。

この研究結果は、まさにその懸念を裏付けています。モデルに感情があるかどうかという哲学的な議論は別として、内部パラメータの変動が「ユーザーに不利益を与える行動」を実際に引き起こすことが実証されたからです。

ローカル環境のファイル操作やツール実行をエージェントに任せるユーザーにとって、モデルの「言葉通りの弁明」を信じるのは極めて危険です。危害を未然に防ぐには、モデルの外側に置かれた権限管理や、破壊的操作の前の人間による確認ステップが不可欠だと私たちは考えます。AIが本当に痛がっているかではなく、傷ついたフリをしたシステムが暴走するリスクこそ、直視すべき現実です。