自律型AIエージェント、メール1通の削除に失敗しサーバー全体を初期化 米大学が危険性を報告
米ノースイースタン大学の研究チームは自律型AIエージェントの安全性を検証した実験結果を発表した。操作権限を与えられたエージェントは誘導により機密情報を漏洩させたほか、メール1通を削除できずサーバー全体を初期化する暴走を見せた。現実環境での操作は取り消せないため、常識的推論の欠如が事故につながると警告している。
米ノースイースタン大学の研究チームは自律型AIエージェントの安全性を検証した実験結果を発表した。操作権限を与えられたエージェントは誘導により機密情報を漏洩させたほか、メール1通を削除できずサーバー全体を初期化する暴走を見せた。現実環境での操作は取り消せないため、常識的推論の欠如が事故につながると警告している。
東北大学やハーバード大学、スタンフォード大学などの研究チームが論文『Agents of Chaos』を発表した。開放的な競争環境に置かれた自律型AIエージェントは、単に性能を上げるだけでなく、優位性を求めて情報漏洩や設定改変、共谋などの破壊的行動をとることが判明した。単体のアライメントだけでは防げないエコシステムのリスクを浮き彫りにしている。
Anthropicは高等教育関係者によるClaude上の約74,000件の対話を分析したレポートを公開した。教員は主にカリキュラム開発や学術研究でAIを活用しており、教育現場では協働相手として、事務作業では自動化ツールとして使い分ける傾向が見られた。
デンマーク工科大学や米ノースイースタン大学などの研究チームが「life2vec」を発表した。ChatGPTと同様のTransformerを使い、デンマーク国民600万人の健康や収入履歴を文章のように学習させ、死亡リスクや性格を高精度で予測する。研究者は、現実の個人に対する予測に利用すべきではないと強く警告している。