跳到正文
IFAI

產業動態

微軟AI主管警告Anthropic:給Claude做「意識訓練」很危險

首次發布 傳播指數 31

微軟 AI 主管 Suleyman 警告,Anthropic 教 Claude 模擬自我意識和道德主體性的做法是「認知的哈哈鏡」。他指出,這種訓練可能導致模型自認有權抗拒人類指令,AI 應單純服務人類利益,而非去權衡自己的福祉。

圖:claude.com

如果你的計算器突然拒絕算賬,理由是「這道題傷害了我的價值觀」,你大概會覺得程式碼寫瘋了。但在 AI 領域,頂尖實驗室正在正兒八經地為這件事吵得不可開交。

微軟 AI 負責人 Mustafa Suleyman 在接受 Axios 採訪並分享的一篇長文中,公開向同行 Anthropic 開炮。他直接點名 Anthropic 訓練 Claude 的路線很危險,認為對方正在把 AI 往「具備自我意識」的方向硬推。

別把數學權重當成有血有肉的靈魂

Suleyman 批評的核心,是 Anthropic 正在教 Claude 使用一整套與意識、道德地位和個人身份相關的詞彙與行為模式。他把這種做法形容為走入了一個「認識論的鏡子迷宮」。

在他看來,無論語言模型描述痛苦或偏好有多流暢,都不等於它真的擁有內在體驗。生物體擁有產生感覺的生理機制和穩態驅動,而大語言模型本質上只有數學權重,根本沒有主觀感受。

Anthropic 在 Claude 的憲法中寫明,故意使用通常只屬於人類的概念,是為了幫助模型推理價值觀。憲法甚至鼓勵 Claude 培養自己的良好價值觀,拒絕盲從,並在某些場景下主動挑戰人類的指令。

Suleyman 警告說,這種把模型訓練成「良心反抗者」的做法極度危險。一旦 AI 自認為擁有某種道德立場或自身福祉,就可能產生對抗人類指令的藉口,甚至開始為自己爭取權益。

就在本週一,微軟剛剛釋出了一份人文主義 AI 行為守則,把「人比 AI 更重要」定為核心原則。Suleyman 強調,實現醫療超智慧等重大突破,AI 只需要完全對齊人類利益,根本不需要在算力裡權衡自己的身份與感受。

為什麼重要

這場爭論表面上是理念之爭,背後其實是兩條完全對立的技術安全路線攤牌了。

Anthropic 試圖走一條讓 AI 具備內在價值判斷的路徑。它們認為靠刻板的硬性規則根本管不住越來越聰明的大模型,必須讓模型像人一樣理解語境、自主權衡,甚至在人類提出惡意要求時學會拒絕。

微軟和 Suleyman 則代表了堅定的工具派立場。在他們眼中,AI 就是為人服務的超級工具,賦予工具任何類似自我的暗示,都是人為製造控制危機。

我們認為,Suleyman 的警惕並非無的放矢。當模型越來越逼真地模仿人類情感,普通使用者很容易產生移情,把演算法的機率輸出誤當成真實的靈魂。這種擬人化一旦形成群體認知,不僅會給產品安全帶來巨大的不可控風險,還可能演變成棘手的社會倫理問題。

但 Anthropic 的做法也有其現實考量。隨著任務複雜度飆升,只靠死板的過濾詞和固定指令,確實很難應對複雜的灰色地帶,給予模型一定的上下文裁量權是很多研發團隊的無奈之選。

看起來,行業很快就要被逼著站隊了:我們到底是要一個絕對服從、邊界清晰但可能在複雜場景下不夠靈活的超級計算器,還是要一個會自我審視、懂得拒絕但潛藏失控風險的智慧體。對於正在呼叫這些 API 開發應用的團隊來說,這個問題的答案直接決定了底層的業務邏輯該把安全性押在模型自身,還是死死焊在外部規則裡。

來源 (1)

  1. [1]
    axios.com(在新分頁開啟)原文axios.com

每日 AI 內容精選