跳到正文
IFAI

AI科研

OpenAI 設立 1000 萬美元資助:專攻超人類 AI 對齊難題

首次發布 傳播指數 35

OpenAI 聯合 Eric Schmidt 設立 1000 萬美元的超級對齊快速資助計劃,支援超人類 AI 系統的安全研究。資助面向學術實驗室、非營利組織與個人,金額在 10 萬至 200 萬美元之間,還設 15 萬美元的研究生獎學金。重點資助從弱到強泛化與可解釋性等方向,不要求過往對齊經驗。

OpenAI 設立 1000 萬美元資助:專攻超人類 AI 對齊難題
圖:openai.com

如果一個比人類聰明得多的 AI 隨手寫出一百萬行復雜的程式碼,你甚至看不懂它的邏輯,你怎麼敢把它跑在核心繫統上?

這就是 OpenAI 現在最頭疼的問題。12 月 14 日,OpenAI 聯手前 Google CEO 埃裡克·施密特(Eric Schmidt),正式啟動了一筆 1000 萬美元的「超級對齊快速資助計劃」(Superalignment Fast Grants),專門砸錢招募全球學者解決這個難題。

OpenAI 預測,超越人類水平的超級智慧可能會在未來 10 年內降臨。問題在於,現在整個行業用來管住大模型的手段,基本全靠人類反饋強化學習(RLHF)。但這種方法到了超級模型面前,可能馬上就會失效。

當小學生開始給博士生批改作業

說白了,RLHF 的底層邏輯是人類當考官。只要模型說得不對或者有偏見,人就給它打低分,模型照著改。

但面對超級智慧時,人類和 AI 的角色徹底顛倒了。人類變成了弱監督者,就像讓一個小學生去批改理論物理學博士的畢業論文,小學生根本看不出裡面藏著什麼漏洞或者後門。

為了打破這個僵局,OpenAI 這次拿出的 1000 萬美元,重點砸向了幾個非常前沿的技術方向。

第一個也是最核心的,叫「弱到強泛化」(Weak-to-strong generalization)。也就是研究怎麼用水平較低的模型或人類規則,去可靠地引導和控制能力遠超自己的強模型。

第二個是可解釋性,搞清楚大模型肚子裡到底在想什麼,甚至能不能借此做出一個實用的「AI 測謊儀」。

第三個則是可擴充套件監督,探索如何讓 AI 協助人類去審查其他複雜 AI 的輸出。此外,模型的誠實度、思維鏈的真實性以及對抗魯棒性,也都在這次資助的範圍之內。

拿錢門檻很低,連研究生都能分一杯羹

有意思的是,OpenAI 這次發錢的姿態放得特別低。

針對學術實驗室、非營利機構以及個人研究者,他們開出的單筆資助額度在 10 萬到 200 萬美元之間。不僅流程大幅簡化,承諾在申請截止後四周內就給答覆,而且明確表示:申請人此前不需要有任何對齊研究經驗,他們專門想吸引圈外的新鮮血液轉行。

對於在讀研究生,他們還設立了一個為期一年的超級對齊獎學金,單人打包 15 萬美元。其中 7.5 萬美元直接作為生活津貼,另外 7.5 萬美元則是算力和研究經費。

在很多高校算力捉襟見肘的當下,這筆算力支援對年輕學者來說甚至比現金更誘人。

為什麼重要

對於學術界和年輕研究者來說,這絕對是一張極具吸引力的入場券。長期以來,頂尖 AI 安全研究基本被頭部大廠壟斷,外部獨立學者既缺錢更缺算力。現在 OpenAI 不僅給錢,還直接給算力額度,門檻放寬到不需要安全背景,非常值得有數學、理論計算機背景的研究人員趁機切入。

對整個行業而言,這看起來也是 OpenAI 一次極其聰明的借力打力。超級智慧對齊是全世界最難的技術死角之一,單靠 OpenAI 自己的超級對齊團隊,無論人力還是思路都容易陷入盲區。拿出區區 1000 萬美元——這筆錢甚至還不如他們買一批晶片的零頭——就能撬動全球學術界最聰明的大腦幫自己打工,價效比簡直拉滿。

但我們認為,這也從側面坐實了一個讓人有些擔憂的現實:即便是大模型技術走在最前面的 OpenAI,在超人類系統的控制方案上,目前手裡也沒有成熟的解法。

現有的技術路線正在快速接近天花板,而行業還在拼命狂飆算力推進底模能力。如果底層對齊理論的研究速度趕不上模型智商的膨脹速度,未來行業將不得不面對一個能力失控但誰也搞不懂的黑盒。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選