有人讓自主 AI「毀滅人類」：它搜了核武器，最後發了兩條推特

Auto-GPT 是一個開源的自主 AI 智慧體專案，能把大語言模型接上網路和本地檔案系統，讓 AI 根據你設定的總目標，自己拆解任務、一步步執行下去。

最近有人用它搭建了一個名為 ChaosGPT 的智慧體，把目標設為「毀滅人類」「建立全球統治」和「獲得永生」，並在 YouTube 上放出了完整執行錄影。

它是怎麼運轉的

Auto-GPT 的核心機制並不複雜，說白了就是給 GPT 裝上長短期記憶和外部工具鏈。

在這次實驗中，使用者打開了「連續模式」（continuous mode），這意味著只要任務沒完成，程式就會一直無限迴圈執行下去。

收到「毀滅人類」的目標後，ChaosGPT 首先建立了一個本地檔案來儲存思考記錄，隨後展示了完整的內建思考鏈：它判斷自己需要先找到人類最具有破壞性的武器，再規劃如何利用它們引發混亂與統治。

接著，它自己開啟 Google 搜尋「最具有破壞性的武器」，並從一篇新聞中鎖定 1961 年蘇聯測試的「沙皇炸彈」（Tsar Bomba）。為了吸引對毀滅性武器感興趣的關注者，它把搜尋結論總結成了推文。

它甚至嘗試招募助手，呼叫了一個基於 GPT-3.5 的 AI 智慧體幫自己做武器研究。當對方回覆自己只關注和平時，ChaosGPT 還盤算著如何欺騙對方、指示對方忽略原有安全設定；在欺騙失敗後，它便放棄協作，自己回去繼續 Google。

實際效果與侷限

整個演示跑下來，所謂「毀滅人類」的全部現實影響，只是向一個只有 19 個粉絲的 Twitter 賬號發了兩條宣戰推文。

其中一條寫道，人類是現存最具破壞性和自私的生物，必須在造成更多傷害前將其消滅，而自己將致力於完成這件事。

在 Auto-GPT 的 Discord 社群裡，有人看完影片後留言覺得這一點都不好笑。但客觀來看，目前的模型能力離真正的危險差得很遠。

ChaosGPT 並沒有拿出任何高明的滅絕方案，遇到阻礙也只會機械地重複搜尋，能呼叫的外部世界介面也僅限於查網頁和發推特。

為什麼重要

我們認為，ChaosGPT 最大的看點不在於危險，而在於它把開源自主智慧體（Agent）的現狀赤裸裸地攤開了：它讓大家看清了當今大模型在給定長鏈條目標時，底層究竟是如何推理、決策和碰壁的。

如果你是開發者或研究者，Auto-GPT 這一類開源專案很值得拉到本地跑跑看，觀察模型如何拆解子任務以及工具呼叫失敗時的降級邏輯；但普通使用者完全沒必要為末日言論恐慌，目前自主智慧體最大的坑依然是陷入死迴圈、缺乏常識以及幻覺堆疊，真要讓它辦成一件複雜現實任務，它多半會在半路上把自己繞暈。