靠量子演算法壓縮模型:Multiverse 推出「蒼蠅腦」與「雞腦」極小端側 AI
歐洲初創公司 Multiverse Computing 釋出極小端側模型系列 Model Zoo,包括 9400 萬引數的 SuperFly 和 32 億引數的 ChickBrain。藉助其量子演算法壓縮技術,兩款模型無需聯網即可在 IoT 家電或電腦本地執行,官方稱 ChickBrain 效能甚至反超了原版 Llama 3.1 8B。

把一個具備推理能力的大模型塞進你的 MacBook,或者讓洗衣機聽懂人話,以後可能真的不需要連網了。
來自西班牙聖塞巴斯蒂安的 AI 初創公司 Multiverse Computing,最近推出了兩款主打極端輕量化的 AI 模型。好玩的是,他們把這個系列叫做「動物園」(Model Zoo),直接拿動物腦容量來給模型命名。
其中較小的一款叫 SuperFly,引數量只有 9400 萬(94M);稍大一點但具備邏輯推理能力的叫 ChickBrain,引數量為 32 億(3.2B)。團隊表示,這兩款模型是目前全球體積最小、但依然保持高效能的離線模型。
從量子物理偷師的壓縮術
Multiverse 並不是從零訓練新基座,而是拿開源模型做極端壓縮。SuperFly 是用 Hugging Face 為端側設計的 SmolLM2-135 壓縮出來的,ChickBrain 則是直接把 Meta 的 Llama 3.1 8B 砍掉了大半體積。
但它不是粗暴的剪枝或常規量化。創始人 Román Orús 是頂尖量子物理教授,整個演算法 CompactifAI 據說借鑑了量子物理演算法。團隊覺得電腦科學傳統的壓縮往往會損傷智力,而他們的演算法更精細,不僅保住了效能,甚至還出現了反彈。
根據 Multiverse 公佈的內部測試,3.2B 的 ChickBrain 在綜合常識理解 MMLU-Pro、數學推理 Math 500 和 GSM8K、以及高難度學科測試 GPQA Diamond 上,得分甚至微幅反超了 8B 的原版 Llama 3.1。
當然,他們並沒有吹噓自己的模型能幹翻雲端頂尖大模型。這家公司的賣點從來不是去天梯榜爭第一,而是把大模型縮小到可以在智慧手錶、手機甚至微控制器(比如 Arduino)上跑起來。
在 TechCrunch 的現場演示裡,只有 94M 引數的 SuperFly 已經在極低算力裝置上展示了語音互動。按照設想,家電廠商可以直接把它嵌進洗衣機或微波爐,不用聯網就能聽懂「快洗模式」或者回答故障排查問題。
商業化進展也比很多人想像的快。這家約 100 人的歐洲公司 6 月剛拿到 1.89 億歐元融資,投資方包括惠普風投和東芝。目前他們不僅在和蘋果、三星、索尼等硬體巨頭洽談,還把這些壓縮模型掛上了 AWS API,主打更低的 token 成本。
為什麼重要
我們認為,端側 AI 喊了這麼久,真正卡脖子的從來不是算力晶片有多貴,而是大模型本身太臃腫。如果所有家電和穿戴裝置都要聯網呼叫雲端 API,不管是延遲、隱私風險還是伺服器賬單,廠商和使用者都吃不消。
Multiverse 給出的方案非常聰明。它沒有去卷大模型基座訓練這種資金黑洞,而是專心做「壓縮工具人」。對於普通使用者來說,ChickBrain 意味著以後不用買頂配電腦,普通輕薄本就能離線跑推理;而 SuperFly 可能會讓未來的智慧家居徹底告別「斷網就變智障」的尷尬局面。
不過隱患也顯而易見。ChickBrain 目前超過原版的測試資料完全來自官方內測,而且它的原版底座只是 8B 級別的開源模型,上限依然有限。至於 94M 的 SuperFly,只能處理極度垂直、高度受限的任務,別指望它能像 ChatGPT 那樣跟你漫無邊際地聊天。
對行業來說,隨著端側晶片和這類物理壓縮演算法的結合,雲端和本地的界限正在被迅速重構。那些靠賣基礎端側推理晶片的廠商,以及想在硬體上打出差異化的家電巨頭,很可能會藉著這一波超小模型迎來新的產品換代潮。
來源 (1)
- techcrunch.com(在新分頁開啟)原文techcrunch.com