Aleph Alpha 叫板 OpenAI:70B 模型打平 GPT-3,年內還將推 300B 旗艦
2 月,德國 AI 初創公司 Aleph Alpha 公佈基準測試結果,其 700 億引數的 Luminous-Supreme 模型在多數任務上追平了 1750 億引數的 GPT-3,引數量不到後者一半。該公司還在測試 3000 億引數的 Luminous-World,預計年內釋出並對標 GPT-4。

ChatGPT 走紅之後,大洋彼岸的歐洲一直在問同一個問題:屬於歐洲人自己的大模型到底在哪?
答案終於有了個輪廓。德國海德堡的人工智慧初創公司 Aleph Alpha 最近公佈了一批基準測試資料,他們自家的 Luminous-Supreme 模型在多項核心任務上,追平了 OpenAI 的初代主力 GPT-3。
拿一半不到的引數量跟 GPT-3 打平
這次拉出來遛彎的 Luminous-Supreme 有 700 億引數,於去年 8 月上線。對比的對手包括 OpenAI 的 1750 億引數 GPT-3 davinci、Meta 的 OPT 以及開源社群 BigScience 的 BLOOM。
測試使用的是開源研究機構 EleutherAI 的評估套件,涵蓋了分類、常識推理和自然語言推理等任務。
結果顯示,引數量不到對方一半的 Luminous-Supreme,在絕大多數任務裡都達到了 GPT-3 的水平,甚至在其中一項測試裡還反超了。相比之下,引數量同為 1700 多億的 Meta OPT 和 BLOOM,平均分還要落後幾個百分點。
引數規模小了一大半,意味著跑起來更輕便,計算資源的消耗和呼叫成本也更低。Aleph Alpha 創始人 Jonas Andrulis 認為,這證明歐洲本土的技術完全有能力成為替代選項。
追上兩年前的標杆,接下來死磕 GPT-4
不過,這場平局背後也有值得冷水澆頭的現實:GPT-3 davinci 早在 2020 年 5 月就釋出了,以色列的 AI21 Labs 和中國的團隊也早在一年多前拿出了同級產品。歐洲等了兩年多,才終於補上了這個缺口。
而且對手也沒有原地踏步。OpenAI 後來靠人類反饋強化學習推出了 text-davinci-003,Google 也在去年 4 月端出了 5400 億引數的 PaLM。
為了跟上節奏,Aleph Alpha 這個月上線了新的 Luminous Supreme Control 模型,對標 OpenAI 的新版本。
更值得關注的是他們正在內測的旗艦系統 Luminous-World。這個大傢伙擁有 3000 億引數,專門針對高複雜度與高風險場景設計,預計今年晚些時候正式推出,目標直接瞄準傳聞中的 GPT-4。
除了拼規模,Aleph Alpha 還把籌碼壓在了透明度和可解釋性上。Andrulis 明確表示,他們希望讓模型決策的過程更容易被人類理解,以此契合歐洲對倫理和合規的高標準要求。
為什麼重要
對企業和開發者來說,歐洲終於有了真正拿得出手的本土基礎設施。特別是受限於嚴格資料監管和行業合規的金融、醫療及政務機構,不用再把敏感資料全部拱手送給大西洋對岸的雲服務商。現在通過他們的應用和 API,就可以直接呼叫 Luminous 系列模型。
從行業競爭來看,Aleph Alpha 證明了在模型設計和訓練效率上做文章,完全可以用 70B 的體量打平甚至壓制 175B 的先行者。這說明盲目堆砌引數並不是唯一的出路,輕量化和高密度的能力才是中小玩家突破重圍的關鍵。
我們認為,Aleph Alpha 最聰明的地方在於沒有盲目跟風做聊天機器人,而是選擇抓緊可解釋性與企業級合規這兩張王牌。歐洲的監管環境極其嚴格,主打透明和合規正好切中了本土傳統企業的痛點。
但隱患也很明顯。大模型競賽比拼的是極度密集的算力和資金,歐洲目前在基礎設施上的支援力度依然落後於美國。光靠一家創業公司追趕 OpenAI 和 Google,容錯率極低。如果後續的 300B 模型在工程落地或商業化節奏上稍有脫節,已經縮短的差距可能很快又會被拉開。
來源 (1)
- the-decoder.com(在新分頁開啟)原文the-decoder.com