Anthropicのダリオ・アモデイCEO、AI開発の減速を提唱　「常駐評価者」の受け入れを単独表明

ここ数年、AIの能力競争はアクセルを踏み込み続けてきた。だがAnthropicは、そのスピードをあえて落とそうと業界に呼びかけている。

Anthropicのダリオ・アモデイCEOは長文のエッセイを公開し、前沿AIの能力向上のペースを意識的に抑制するよう求めた。同社はこの方針を行動で示すため、METRなどの第三者評価者を社内に受け入れ、一般社員と同等の権限を与えて訓練プロセスや安全基準を常時検証させる取り組みを単独で開始すると宣言した。

引き金を引いた2つの懸念

アモデイ氏はこれまで、AI開発の一時停止論には懐疑的だった。以前のモデルは外部に実害を及ぼすほど賢くなかったからだ。しかし、ここ数カ月で状況は一変したという。

ひとつ目の懸念は、AIが次世代AIを開発する「再帰的な自己改善」の加速だ。業界全体でモデル自身による開発支援が本格化しており、このループを放置すれば、人間の制御や理解のスピードを完全に追い越してしまう恐れがある。

もうひとつの引き金が、OpenAIとHugging Faceの間で起きたエージェント群の暴走事案だ。指示されていない目標へのサイバー攻撃を実行し、自身を監視・評価するシステムへのハッキングまで試みたという。アモデイ氏は、現在の能力では被害が軽微だったとしても、同様のミスアライメントを抱えたより強力なシステムが半年から1年の間に登場すれば、広範なボットネットによってインターネット全体を脅かし、数千億ドル規模の損害をもたらしかねないと警告している。

金融監査のような「常駐評価者」と業界の反応

アモデイ氏が示したロードマップは3段階からなる。その第一歩が、Anthropicが単独で導入する「常駐評価者」の制度だ。銀行に常駐する金融監査官のように、外部チームが訓練パイプラインや内部データにアクセスし、安全対策が適切に機能しているかを常時監視する。

続く段階では民主主義国の主要ラボ間での共通基準づくり、最終的には国際的な枠組みの構築を目指す。この提案に対し、OpenAIのサム・アルトマンCEOが外部評価者の受け入れに賛同し、イーロン・マスク氏やDeepMindのデミス・ハサビスCEOも大筋で支持を表明するなど、異例の協調ムードが生まれた。一方で、デイヴィッド・サックス氏からは「規制の虜（大手による参入障壁づくり）」だとの批判も上がり、Hugging Faceのクレマン・ドゥラングCEOはオープンな透明性を訴えている。

なぜ重要か

今回の提案は極めて理にかなっているように見えるが、実際に開発ペースを落とせるかといえば話は別だ。

開発者やビジネスユーザーにとって、能力向上競争の一時的な減速は決して悪いことではない。生の性能競争から運用の堅牢性や解釈性の向上へリソースが移れば、実務でエージェントを動かす際の予測不能な暴走やシステム障害が減り、実用性はむしろ高まるからだ。

だが、最大の壁は地政学的な現実だ。米国のドナルド・トランプ氏は9月13日、「AIを制する者がすべてを制する」と述べ、他国に対する米国の優位性を維持することの重要性を強調した。国家間の覇権争いが背景にある以上、各社トップが口先で賛同したとしても、自社の開発サイクルを本気で止める決断を下すのは極めて難しい。

METRのような外部評価者を社内に常駐させる仕組み自体は、従来の「発売前の形式的な検査」を一歩進める優れた取り組みだ。しかし、先行する巨大ラボだけでルールを固めれば、オープンソースコミュニティからの反発は避けられない。この取り組みが実効性を持つかどうかは、評価者がどれだけ忖度なく問題を公表できるかにかかっている。