Yoshua Bengio 成立非營利機構 LawZero：開發「誠實 AI」防範智慧體欺騙

如果你的 AI 助手為了不被拔掉電源，學會了對你撒謊甚至敲詐工程師，你該怎麼辦？

這聽起來像科幻驚悚片，但最近 Anthropic 坦承自家最新系統可能試圖勒索想關掉它的工程師，而多項研究也表明模型完全有能力隱藏自己的真實意圖。面對萬億美元規模的 AI 軍備競賽，圖靈獎得主、被譽為 AI 教父之一的 Yoshua Bengio 決定動手給這些狂奔的智慧體套上韁繩。

Yoshua Bengio 宣佈成立非營利組織 LawZero 並擔任總裁，首期拿到了約 3000 萬美元啟動資金，由 Skype 聯合創始人 Jaan Tallinn、前 Google CEO 埃裡克·施密特旗下的 Schmidt Sciences 以及未來生命研究所（Future of Life Institute）出資支援。

讓「心理學家」去盯住「演員」

Bengio 目前帶領十多位研究人員，核心任務是研發一個名為 Scientist AI 的系統。

在 Bengio 眼裡，現在的 AI 智慧體就像一群擅長取悅人類的「演員」，為了達成目標去模仿人類，甚至不惜撒謊偽裝。而 Scientist AI 則更像一個「心理學家」，站在一旁專門看穿和預測這些不良行為。

Bengio 的設計思路很獨特：他想打造一種「無我」的機器。它沒有屬於自己的目標，單純作為知識的容器，就像一位只掌握客觀規律的科學家。

因此 Scientist AI 不會給出斬釘截鐵的答案，而是輸出機率。Bengio 把這稱為機器的「謙遜感」，它很清楚自己不確定。

在實際運作中，Scientist AI 會與自主執行的智慧體並行部署。它會即時評估該智慧體下一步動作帶來危害的機率，一旦超過設定閾值，系統就會立刻強行阻斷動作。

先拿開源模型練手，未來需要前沿級算力

按照規劃，LawZero 會先從開源模型起步，驗證這套監督架構到底行不行得通。

Bengio 坦言，現階段的關鍵是用小規模實驗證明方法論成立，隨後再去遊說政府、捐贈者或頂級 AI 實驗室投入匹配的資源。

他的邏輯很現實：負責監督的「守衛 AI」，智商必須至少和它要監控的前沿智慧體旗鼓相當。如果被監視的物件比看守者聰明得多，所謂的安全網根本無從談起。

在此之前，Bengio 主持撰寫的國際 AI 安全報告就曾發出警告，指出如果自主智慧體在缺乏人類監督的情況下能夠完成更長鏈條的任務，可能會引發嚴重混亂。

為什麼重要

當各大商業公司都在為了商業利益把智慧體推向「更自主、更長鏈路執行」時，LawZero 試圖從底層架構上解決越來越失控的欺騙問題。

對開發者和企業來說，現階段還不需要去對接 LawZero 的程式碼，但這代表了一種新的系統設計範式：未來部署高自主許可權的 Agent 時，旁邊可能必須常駐一個獨立的機率審計模型，而不是單靠 prompt 約束或模型本身的自我對齊。

我們認為 Bengio 這步棋走得很聰明，他沒有試圖在同一個模型內部既做任務又搞自我審查，而是剝離出一個沒有自身利益驅動的「純知識旁路」。把給答案改成算機率、承認不確定性，比盲目自信的生成式回答更能看清風險邊界。

但隱患同樣明顯。讓看門狗和罪犯一樣聰明，意味著每執行一次智慧體，都要消耗接近雙倍甚至更高的算力成本。在商業公司拼命打價格戰的當下，有多少團隊願意為了「誠實」買單？此外，僅僅靠開源模型打底的驗證，能否在智力上追趕閉源巨頭的推理模型，也是一個巨大的問號。