前沿模型論壇選出首任負責人,四大巨頭掏出超 1000 萬美元做安全
Anthropic、Google、Microsoft 和 OpenAI 宣佈任命 Chris Meserole 為前沿模型論壇首任執行董事,並設立超 1000 萬美元的 AI 安全基金。該基金重點資助獨立研究者研發模型紅隊測試與評估技術,推動建立前沿 AI 的安全共識與行業標準。

平時的競爭對手一旦聚在一起發錢,事情往往不簡單。
Anthropic、Google、Microsoft 和 OpenAI 聯合公佈了前沿模型論壇的兩項關鍵進展:任命政策專家 Chris Meserole 出任首位執行董事,同時拉來慈善夥伴共同成立一筆超過 1000 萬美元的 AI 安全基金。
這筆錢由四大巨頭與 Patrick J. McGovern 基金會、David and Lucile Packard 基金會,以及 Eric Schmidt、Jaan Tallinn 等個人與機構共同出資。基金將專門扶持高校、研究機構和初創團隊裡的獨立科研人員,未來幾個月內會由 Meridian Institute 負責公開徵集提案。
找人帶頭,把紅隊測試標準化
新上任的執行董事 Chris Meserole 之前是布魯金斯學會人工智慧與新興技術倡議的主任,長期研究新興技術的治理和安全政策。
他的主要任務就是把論壇的四大目標推落地:推進前沿安全研究、提煉最佳實踐、向政界學界普及知識,以及用 AI 應對社會挑戰。
除了人事變動,論壇還發布了首份技術工作組更新,把各家在紅隊測試上的經驗拿出來共享。他們將紅隊測試定義為探查 AI 系統以發現有害能力、輸出或基礎設施威脅的結構化流程。
各家目前還在制定一套負責任的披露機制。一些成員已經在國家安全相關的 AI 能力和風險緩解上摸索出了經驗,未來前沿實驗室之間要像傳統網路安全界那樣,形成通報漏洞和危險能力的固定流程。
為什麼重要
對研究人員和初創團隊來說,這是個直接拿資助的好機會。過去前沿模型評測基本被大廠自研體系壟斷,獨立學者既缺算力又缺經費,這筆千萬美元基金正好能填補外部評估工具研發的缺口。
對整個行業而言,四大巨頭抱團設立安全標杆,看起來也是在為即將到來的嚴格監管提前對錶。早前他們都在白宮簽過自願安全承諾,與其等監管機構拿出一刀切的外行標準,不如自己先把紅隊測試和披露流程做成既成事實的行業規範。
不過,我們認為這種巨頭主導的安全同盟也有隱患。1000 萬美元攤到全球研究者頭上其實並不算大錢,相比各家動輒數十億美元的模型訓練投入更是九牛一毛。如果安全標準和紅隊測試的定義權最終完全收攏在這幾家巨頭手裡,很可能會無形中抬高後來者的合規門檻。
來源 (2)
- blog.google(在新分頁開啟)原文blog.google
- openai.com(在新分頁開啟)報導openai.com