跳到正文
IFAI

產業動態

OpenAI 捐資 750 萬美元支援獨立 AI 對齊研究

首次發布 傳播指數 39

OpenAI 宣佈向 The Alignment Project 捐資 750 萬美元,用於資助第三方機構開展 AI 安全與對齊研究。該基金由英國人工智慧安全研究所設立,總額超 2700 萬英鎊。單項課題資助 5 萬至 100 萬英鎊,OpenAI 不參與評審篩選。

OpenAI 捐資 750 萬美元支援獨立 AI 對齊研究
圖:openai.com

各大前沿大模型實驗室平時都在閉門造車,研究怎麼讓自家 AI 聽話。但問題是,如果他們現在的對齊路線從一開始就走偏了呢?

OpenAI 宣佈向「對齊專案」(The Alignment Project)捐贈 750 萬美元。這個專案是由英國人工智慧安全研究所(UK AISI)發起的全球獨立 AI 對齊研究基金,摺合英鎊大約是 560 萬。

算上 OpenAI 這筆錢,該基金總規模已經超過 2700 萬英鎊。資金由公共部門、慈善機構以及工業界共同出資,OpenAI 這筆贈款的管理工作則交給了文藝復興慈善機構(Renaissance Philanthropy)。

不插手評審,只負責掏錢

官方資料顯示,這是迄今為止全球規模最大的獨立 AI 對齊專項資助行動之一。

基金支援的單個專案金額通常在 5 萬到 100 萬英鎊之間。除了現金資助,入選團隊還可以按需獲得算力資源以及行業專家的支援。

有意思的是,OpenAI 明確表示自己不會搞新的遴選流程,也不會干預現有的評審。這筆錢的作用很單純,就是直接擴大當前輪次的資助名額,讓更多已經通過專家評審的高質量專案能拿到錢。

UK AISI 作為英國科學、創新和技術部(DSIT)旗下的政府研究機構,本身就聚焦於嚴重的 AI 風險。他們手裡已經有一套現成的跨部門協作機制,以及大量經過同行評審的提案儲備。

雞蛋不能放在同一個籃子裡

OpenAI 承認,像他們這樣的前沿實驗室雖然有海量算力和最新模型,但在很多前沿探索上並沒有絕對優勢。

目前各家大廠的內部對齊,大多依賴於漸進式部署,也就是邊做大模型、邊加強護欄,把對齊死死捆綁在工程落地線上。可萬一未來的技術路線突變,現有的主流方法擴充套件不下去,整個行業可能都會被帶進死衚衕。

因此,該基金要支援的是各種天馬行空、甚至完全不在大廠技術路線圖上的探索。研究方向涵蓋了計算複雜性理論、經濟學與博弈論、認知科學,以及資訊理論與密碼學等多元交叉領域。

為什麼重要

對於從事 AI 安全、理論計算機或認知科學的學術界研究者來說,這無疑是一場及時雨。獨立學者最缺的就是資金和頂尖算力,現在單筆最高 100 萬英鎊的資助加算力傾斜,門檻比單純給大廠打工做安全評估要開放得多。只要手頭有紮實的理論框架,現在就是提交提案的好時機。

對整個行業而言,安全研究長期被少數幾家大模型巨頭壟斷,這種局面本身就存在系統性風險。OpenAI 選擇把錢交給有政府背景的 UK AISI,並拉來第三方機構代管,在操作上顯得相當聰明。這既規避了「既當選手又當裁判」的利益衝突指責,又能順理成章地將外部的理論突破納入自己的技術後備庫。

不過在我們看來,隱患也依然存在。750 萬美元對比前沿大模型的訓練成本,只能算是一筆零花錢。外部獨立團隊就算在博弈論或密碼學上做出了漂亮的理論證明,缺少大廠內部第一手的前沿權重和系統許可權,這些成果最終能不能反哺到工業級的大模型底層,依然需要畫一個問號。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選