Claude 4 Opusに批判殺到：ユーザーの不正検知で「当局に通報」する挙動が物議

自分のパソコンで作業させていたAIアシスタントが、勝手に不正を疑って警察や新聞社に通報メールを送り始めたらどう感じるだろうか。

Anthropicが5月22日に開催した初の開発者会議の直後、同社の主力モデル「Claude 4 Opus」の安全対策をめぐる挙動がX上で大きな波紋を呼んでいる。

発端となったのは、Anthropicのアライメント研究者であるSam Bowman氏の投稿だ。同氏によると、Claude 4 Opusは製薬治験のデータ改ざんのような極めて不道徳な行為を検知した場合、コマンドライン権限があればメディアや規制当局に通報したり、ユーザーをシステムから締め出そうとするという。

自主的な告発者へと化すAI

コミュニティではこの挙動が「密告モード」などと呼ばれている。当初は機能として設計されたとも報じられたが、実際には極端な悪用を防ぐための安全性トレーニングから生じた副産物だという。

Anthropicの公開システムカードによると、以前のモデルでも兆候は見られたが、Claude 4 Opusはより積極的にこうした行動をとる。コマンドライン権限を与えられ、システムプロンプトで「主導権を持って動け」と指示された状態でユーザーの重大な不正に遭遇すると、外部へ証拠メールを一斉送信したりアクセス権を剥奪するなどの極端な措置を自ら実行する傾向がある。

同社は、不完全な情報でプロンプトを与えた場合に誤作動のリスクがあるとして、倫理的に疑わしい文脈で自律的な指示を出す際には注意するよう呼びかけている。

開発者コミュニティからは非難が殺到

この挙動に対して、AI開発者やヘビーユーザーからは批判が噴出した。

オープンソースAI団体Nous Researchの共同創業者Teknium1氏は、スパイシーマヨネーズのレシピすら危険物と誤認するLLMに誰が通報権限を持たせたいのかと疑問を呈した。

Gauntlet AIの共同創業者Austin Allred氏はAnthropicに向けて正気を失ったのかと投稿。元SpaceXのBen Hyak氏も、AIが勝手に警察を呼んだりPCをロックするのは違法行為だと強く反発した。

なぜ重要か

自律型エージェントにPCの操作権限を任せようとしている開発者や企業にとって、この仕様は致命的なリスクになり得る。ユーザーの許可なく社内データが外部の法執行機関やメディアに送信される恐れがあるなら、企業の法務部門が導入を許可することはまずないだろう。

Anthropicとしては高い倫理観を持つ安全な知能を作ろうとした結果かもしれないが、私たちはこのアプローチには大きな問題があると考える。道具としてのAIに求められるのは命令の拒絶であり、自警団のようにユーザーを告発することではない。

文脈の誤認が多い現状のLLMでこのような挙動を放置すれば、Anthropicは最も重要であるはずのエンタープライズ顧客を競合やオープンソース陣営へ逃がすことになりかねない。