跳到正文
IFAI

產業動態

OpenAI 前臨時 CEO 創立 Softmax:主打「有機對齊」

首次發布 傳播指數 39

OpenAI 前臨時 CEO Emmett Shear 創辦 AI 初創公司 Softmax,並獲得 Andreessen Horowitz 等投資。團隊提出「有機對齊」,借鑑多細胞生物與蟻群的分工機制,讓智慧體在虛擬環境中自主協作,反對自上而下的層級控制。目前該專案仍處於早期實驗階段。

OpenAI 前臨時 CEO 創立 Softmax:主打「有機對齊」
圖:corememory.com

還記得 2023 年 OpenAI 那場持續五天、鬧得滿城風雨的「高層政變」嗎?當時被臨時拉去當了幾天 CEO 的 Emmett Shear,在沉寂一段時間後正式帶著一家新公司殺回了 AI 圈。

這家位於舊金山的新公司叫 Softmax,目前團隊只有 10 個人,由 Shear 聯手 Hipmunk 創始人 Adam Goldstein 以及 AI 研究員 David Bloomin 共同創立。公司已經拿到來自 Andreessen Horowitz、Lionheart Ventures 和 Plural 的投資,金額暫未披露。

不過,他們要做的既不是跟各大廠卷大語言模型,也不是做一個新的聊天助手,而是專攻 AI 領域最棘手的課題之一:對齊。

別把 AI 當員工管,讓它像細胞一樣協作

大模型公司做對齊,主流思路基本都是自上而下的:人類定好規則,把模型當成需要被規訓、被糾偏的下屬,按指令辦事。Softmax 團隊把這種做法叫作「層級對齊」。

Shear 覺得這種搞法遲早要出大問題。在他看來,人類自身就是不完美的,我們教給 AI 的規矩很可能從一開始就是錯的。如果 AI 只會被動服從,甚至像現在行業裡預設的那樣「把一個許願神機奴役起來」,未來根本走不通。

因此 Softmax 提出了一個叫「有機對齊」的概念。這個想法很大程度上借鑑了塔夫茨大學 Michael Levin 實驗室的生物物理研究。在多細胞生物或者蟻群裡,沒有哪個單一中樞在發號施令,每個細胞既保留著自身特質,又會分化成肌肉、神經或皮膚細胞,為了一個更大的共同目標協同運轉。

Shear 認為,真正的對齊應該是平等個體之間的磨合與共存,甚至 AI 在發現人類給的指令不對時,得有能力「頂回去」。

幾十萬引數的微型實驗

在具體研發上,Softmax 的做法和當下主流路線大相逕庭。

他們沒有一上來就訓千億引數的大模型,而是讓幾十萬到幾百萬引數的小型強化學習智慧體,進入微型的虛擬遊戲世界裡。在這個封閉環境裡,團隊觀察這些智慧體如何互相互動、產生湧現行為,以及怎樣在自保和集體目標之間找到平衡。

至於未來靠什麼產品賺錢,Shear 坦言自己現在也不知道。他把 Softmax 目前的狀態比作早期的 OpenAI:先做基礎科學研究,搞清楚核心理論,如果真能跑出突破,產品形態自然會水落石出。

在 Shear 眼裡,現在的 AI 模型雖然還談不上是人類的真正同伴,頂多算細菌或魚類水平,但跨過那道門檻的時間可能比大多數人想的都要快。

為什麼重要

對普通開發者和創業者來說,Softmax 目前並不是一個你可以馬上調 API 或下載 SDK 的專案。它現在是一家純粹的基礎研究機構,離落地商用還有不小的距離。如果你在找立竿見影的生產力工具,暫時不用分心去盯它。

但對整個 AI 行業來說,這家公司的出現很有風向標意義。主流模型廠商一直在靠人類反饋強化學習和各種安全護欄硬堵漏洞,這種「打補丁」式的管教方案在模型能力越來越強時,已經開始顯露疲態。

我們認為,Shear 團隊聰明的地方在於跳出了電腦科學的既有框架,從生物學和複雜系統裡找靈感。蟻群和人體的協同進化確實是自然界最成功的對齊範式,這種降維借鑑很具啟發性。

不過隱患也顯而易見。學術界討論「有機對齊」和生物智慧可以很詩意,但在現實工程中,讓原本就不可控的智慧體擁有自主權和反抗能力,究竟是走向共存還是走向更大的失控?在商業資本的耐心耗盡之前,十個人的小團隊能不能在虛擬世界裡證明這套理論的可行性,看起來還要打上一個大大的問號。

來源 (1)

  1. [1]
    corememory.com(在新分頁開啟)原文corememory.com

每日 AI 內容精選