跳到正文
IFAI

大模型

靠量子算法压缩模型:Multiverse 推出「苍蝇脑」与「鸡脑」极小端侧 AI

首次发布 传播指数 46

欧洲初创公司 Multiverse Computing 发布极小端侧模型系列 Model Zoo,包括 9400 万参数的 SuperFly 和 32 亿参数的 ChickBrain。借助其量子算法压缩技术,两款模型无需联网即可在 IoT 家电或电脑本地运行,官方称 ChickBrain 性能甚至反超了原版 Llama 3.1 8B。

靠量子算法压缩模型:Multiverse 推出「苍蝇脑」与「鸡脑」极小端侧 AI
图:techcrunch.com

把一个具备推理能力的大模型塞进你的 MacBook,或者让洗衣机听懂人话,以后可能真的不需要连网了。

来自西班牙圣塞巴斯蒂安的 AI 初创公司 Multiverse Computing,最近推出了两款主打极端轻量化的 AI 模型。好玩的是,他们把这个系列叫做「动物园」(Model Zoo),直接拿动物脑容量来给模型命名。

其中较小的一款叫 SuperFly,参数量只有 9400 万(94M);稍大一点但具备逻辑推理能力的叫 ChickBrain,参数量为 32 亿(3.2B)。团队表示,这两款模型是目前全球体积最小、但依然保持高性能的离线模型。

从量子物理偷师的压缩术

Multiverse 并不是从零训练新基座,而是拿开源模型做极端压缩。SuperFly 是用 Hugging Face 为端侧设计的 SmolLM2-135 压缩出来的,ChickBrain 则是直接把 Meta 的 Llama 3.1 8B 砍掉了大半体积。

但它不是粗暴的剪枝或常规量化。创始人 Román Orús 是顶尖量子物理教授,整个算法 CompactifAI 据说借鉴了量子物理算法。团队觉得计算机科学传统的压缩往往会损伤智力,而他们的算法更精细,不仅保住了性能,甚至还出现了反弹。

根据 Multiverse 公布的内部测试,3.2B 的 ChickBrain 在综合常识理解 MMLU-Pro、数学推理 Math 500 和 GSM8K、以及高难度学科测试 GPQA Diamond 上,得分甚至微幅反超了 8B 的原版 Llama 3.1。

当然,他们并没有吹嘘自己的模型能干翻云端顶尖大模型。这家公司的卖点从来不是去天梯榜争第一,而是把大模型缩小到可以在智能手表、手机甚至微控制器(比如 Arduino)上跑起来。

在 TechCrunch 的现场演示里,只有 94M 参数的 SuperFly 已经在极低算力设备上展示了语音交互。按照设想,家电厂商可以直接把它嵌进洗衣机或微波炉,不用联网就能听懂「快洗模式」或者回答故障排查问题。

商业化进展也比很多人想象的快。这家约 100 人的欧洲公司 6 月刚拿到 1.89 亿欧元融资,投资方包括惠普风投和东芝。目前他们不仅在和苹果、三星、索尼等硬件巨头洽谈,还把这些压缩模型挂上了 AWS API,主打更低的 token 成本。

为什么重要

我们认为,端侧 AI 喊了这么久,真正卡脖子的从来不是算力芯片有多贵,而是大模型本身太臃肿。如果所有家电和穿戴设备都要联网调用云端 API,不管是延迟、隐私风险还是服务器账单,厂商和用户都吃不消。

Multiverse 给出的方案非常聪明。它没有去卷大模型基座训练这种资金黑洞,而是专心做「压缩工具人」。对于普通用户来说,ChickBrain 意味着以后不用买顶配电脑,普通轻薄本就能离线跑推理;而 SuperFly 可能会让未来的智能家居彻底告别「断网就变智障」的尴尬局面。

不过隐患也显而易见。ChickBrain 目前超过原版的测试数据完全来自官方内测,而且它的原版底座只是 8B 级别的开源模型,上限依然有限。至于 94M 的 SuperFly,只能处理极度垂直、高度受限的任务,别指望它能像 ChatGPT 那样跟你漫无边际地聊天。

对行业来说,随着端侧芯片和这类物理压缩算法的结合,云端和本地的界限正在被迅速重构。那些靠卖基础端侧推理芯片的厂商,以及想在硬件上打出差异化的家电巨头,很可能会借着这一波超小模型迎来新的产品换代潮。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选