跳到正文
IFAI

大模型

Aleph Alpha 叫板 OpenAI:70B 模型打平 GPT-3,年内还将推 300B 旗舰

首次发布 传播指数 42

2 月,德国 AI 初创公司 Aleph Alpha 公布基准测试结果,其 700 亿参数的 Luminous-Supreme 模型在多数任务上追平了 1750 亿参数的 GPT-3,参数量不到后者一半。该公司还在测试 3000 亿参数的 Luminous-World,预计年内发布并对标 GPT-4。

Aleph Alpha 叫板 OpenAI:70B 模型打平 GPT-3,年内还将推 300B 旗舰
图:the-decoder.com

ChatGPT 走红之后,大洋彼岸的欧洲一直在问同一个问题:属于欧洲人自己的大模型到底在哪?

答案终于有了个轮廓。德国海德堡的人工智能初创公司 Aleph Alpha 最近公布了一批基准测试数据,他们自家的 Luminous-Supreme 模型在多项核心任务上,追平了 OpenAI 的初代主力 GPT-3。

拿一半不到的参数量跟 GPT-3 打平

这次拉出来遛弯的 Luminous-Supreme 有 700 亿参数,于去年 8 月上线。对比的对手包括 OpenAI 的 1750 亿参数 GPT-3 davinci、Meta 的 OPT 以及开源社区 BigScience 的 BLOOM。

测试使用的是开源研究机构 EleutherAI 的评估套件,涵盖了分类、常识推理和自然语言推理等任务。

结果显示,参数量不到对方一半的 Luminous-Supreme,在绝大多数任务里都达到了 GPT-3 的水平,甚至在其中一项测试里还反超了。相比之下,参数量同为 1700 多亿的 Meta OPT 和 BLOOM,平均分还要落后几个百分点。

参数规模小了一大半,意味着跑起来更轻便,计算资源的消耗和调用成本也更低。Aleph Alpha 创始人 Jonas Andrulis 认为,这证明欧洲本土的技术完全有能力成为替代选项。

追上两年前的标杆,接下来死磕 GPT-4

不过,这场平局背后也有值得冷水浇头的现实:GPT-3 davinci 早在 2020 年 5 月就发布了,以色列的 AI21 Labs 和中国的团队也早在一年多前拿出了同级产品。欧洲等了两年多,才终于补上了这个缺口。

而且对手也没有原地踏步。OpenAI 后来靠人类反馈强化学习推出了 text-davinci-003,Google 也在去年 4 月端出了 5400 亿参数的 PaLM。

为了跟上节奏,Aleph Alpha 这个月上线了新的 Luminous Supreme Control 模型,对标 OpenAI 的新版本。

更值得关注的是他们正在内测的旗舰系统 Luminous-World。这个大家伙拥有 3000 亿参数,专门针对高复杂度与高风险场景设计,预计今年晚些时候正式推出,目标直接瞄准传闻中的 GPT-4。

除了拼规模,Aleph Alpha 还把筹码压在了透明度和可解释性上。Andrulis 明确表示,他们希望让模型决策的过程更容易被人类理解,以此契合欧洲对伦理和合规的高标准要求。

为什么重要

对企业和开发者来说,欧洲终于有了真正拿得出手的本土基础设施。特别是受限于严格数据监管和行业合规的金融、医疗及政务机构,不用再把敏感数据全部拱手送给大西洋对岸的云服务商。现在通过他们的应用和 API,就可以直接调用 Luminous 系列模型。

从行业竞争来看,Aleph Alpha 证明了在模型设计和训练效率上做文章,完全可以用 70B 的体量打平甚至压制 175B 的先行者。这说明盲目堆砌参数并不是唯一的出路,轻量化和高密度的能力才是中小玩家突破重围的关键。

我们认为,Aleph Alpha 最聪明的地方在于没有盲目跟风做聊天机器人,而是选择抓紧可解释性与企业级合规这两张王牌。欧洲的监管环境极其严格,主打透明和合规正好切中了本土传统企业的痛点。

但隐患也很明显。大模型竞赛比拼的是极度密集的算力和资金,欧洲目前在基础设施上的支持力度依然落后于美国。光靠一家创业公司追赶 OpenAI 和 Google,容错率极低。如果后续的 300B 模型在工程落地或商业化节奏上稍有脱节,已经缩短的差距可能很快又会被拉开。

来源 (1)

  1. [1]
    the-decoder.com(在新标签页打开)原文the-decoder.com

每日 AI 内容精选