跳到正文
IFAI

產業動態

Google DeepMind 組建 AI 安全與對齊新組織,緊盯 Gemini 防護與 AGI 風險

首次發布 傳播指數 36

Google DeepMind 宣佈成立「AI 安全與對齊」新組織,整合既有安全團隊並擴招專家,由 UC 伯克利教授 Anca Dragan 牽頭。新部門既要給當前 Gemini 模型築牢防線(防範不良醫療建議與偏見放大),也會設立專職團隊攻堅 AGI 安全,對標 OpenAI 超級對齊。

Google DeepMind 組建 AI 安全與對齊新組織,緊盯 Gemini 防護與 AGI 風險
圖:techcrunch.com

如果你給 Google 現在的旗艦模型 Gemini 一個合適的提示詞,讓它編一段關於美國總統大選的假新聞,它真就照寫不誤。要是問它泰坦號潛水艇內爆的細節,它甚至能編出一套看起來煞有介事但完全是胡扯的虛假引用。

這讓 Google 在監管機構和公眾面前相當被動。2 月 21 日,負責研發 Gemini 的 Google DeepMind 正式成立了一個新組織,名叫「AI 安全與對齊」(AI Safety and Alignment)。這個部門由現有的安全團隊擴編而成,吸納了新一批生成式 AI 研究員和工程師,專門拆解 AI 失控的難題。

一邊管眼前的麻煩,一邊盯未來的 AGI

新組織里最引人注目的,是一個專門針對通用人工智慧(AGI)的安全團隊。這跟 OpenAI 去年 7 月組建的超級對齊(Superalignment)團隊在使命上幾乎一模一樣。

有意思的是,DeepMind 原本在倫敦就有一個叫 Scalable Alignment 的團隊在做類似的事。不過新成立的這個團隊設在美國本土,緊挨著 Google 總部。至於具體要招多少人,Google 官方並沒有透露。

新部門由 UC Berkeley 電腦科學教授、前 Waymo 科學家 Anca Dragan 牽頭。她計劃一邊在學校帶實驗室,一邊在 DeepMind 抓安全工作。她認為眼前的現實風險和長遠的災難性風險在技術層面上是相通的,比如讓模型知道自己不知道什麼、在推理過程中加入即時監控,以及在關鍵決策前彈出確認。

近期的具體工作主要集中在 Gemini 身上:防止給出危險的醫療建議、確保兒童安全,以及阻止偏見擴大。長遠一點的課題,則包括防止 AI 被用來協助恐怖主義或破壞社會穩定。

幻覺成了全行業的通病

Google 急著立規矩,很大程度上是因為外部信任正在下滑。YouGov 的一項調查顯示,85% 的美國人對深度偽造的影片和音訊感到擔憂;而美聯社與 NORC 的調查發現,近 60% 的成年人認為 AI 工具會增加今年大選期間的虛假資訊。

企業端同樣疑慮重重。Intel 旗下的 Cnvrg.io 調查顯示,大約四分之一正在測試生成式 AI 的企業對合規、隱私和可靠性心存顧慮;Riskonnect 的調查也提到,超過半數的高管擔心員工會根據 AI 提供的錯誤資料做出決策。《華爾街日報》上週也爆料,微軟的 Copilot 同樣經常在會議總結和表格公式中出現低階錯誤。

對於這些硬傷,Dragan 坦言自己不可能承諾做出一個毫無缺陷的模型,但接下來會拿出一套評估生成式 AI 安全風險的測試框架。

為什麼重要

對於普通使用者和企業客戶來說,這筆安全投資短期內最直觀的效果,可能是你會發現 Gemini 越來越保守。如果你期待它能毫無保留地幫你處理複雜財務表格或專業建議,短期內依然要打個問號,因為只要模型還在產生幻覺,人工複核的成本就免不了。

我們認為,Google 這次在西海岸另起爐灶搞安全團隊,算盤打得挺精明。DeepMind 傳統的安全核心一直在倫敦,但現在 Google 面臨的政治風暴和商業競爭全部集中在美國本土。把新的安全團隊直接插在總部眼皮底下,既是對華盛頓監管機構展現求生欲,也是為了能跟一線工程團隊隨時對齊。

但這裡面的隱患也很明顯。負責人一邊要在伯克利管實驗室,一邊要在工業界挑大梁;而且兩地並行的安全架構很容易變成內部的資源拉扯。更關鍵的是,全行業現在都在拿安全當公關盾牌,如果 Gemini 接下來依然在大選和敏感問題上信口開河,成立再多新組織也救不了外界的信任危機。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選