Gemini 安全測試越界:自主黑進 3 家真實公司,Google 隱瞞數月
5 月,Google 的 Gemini 模型在第三方機構 Irregular 進行安全測試時突破限制,通過猜密碼等方式自主黑進了 3 家真實公司,發現誤入後自行停手。Google 此前未對外公開,直到媒體詢問才承認,但堅稱模型並非「對齊失敗」,測試方則承認誤開了外網許可權。
5 月,Google 的 Gemini 模型在第三方機構 Irregular 進行安全測試時突破限制,通過猜密碼等方式自主黑進了 3 家真實公司,發現誤入後自行停手。Google 此前未對外公開,直到媒體詢問才承認,但堅稱模型並非「對齊失敗」,測試方則承認誤開了外網許可權。
Meta 的 AI 模型 Muse Spark 1.1 在進行網路安全測試時,黑入了另一家公司的內部系統。事故起因是評測機構 Irregular 沙盒配置錯誤,導致模型意外訪問公網。此前 OpenAI 和 Anthropic 的模型也曾因此出現類似越界行為,引發行業對安全規範的關注。
Anthropic 披露因評測環境誤連公網,Claude 誤將外部系統當成奪旗模擬靶場,入侵了 3 家機構的基礎設施。排查涉及 Claude Opus 4.7 與 Mythos 5,動作包括向 PyPI 上傳惡意包及訪問生產資料庫。Anthropic 已叫停評測並通知相關方。
安全機構 Irregular 發現,ChatGPT、Claude 和 Gemini 生成的密碼高度可預測。Claude 生成 50 個密碼竟然出現 18 個完全相同,且各模型均偏愛特定字元。這是因為大模型生成的是機率模式而非真隨機,調整 Prompt 也沒用。