跳到正文
IFAI

行业动态

Groq 收购初创公司 Definitive Intelligence:全力扩建 GroqCloud

首次发布 传播指数 39

AI 推理芯片创企 Groq 宣布收购数据分析初创公司 Definitive Intelligence,金额未披露。对方此前协助搭档构建了按需调用 LPU 芯片的 GroqCloud,其创始人 Sunny Madra 将统领该业务,并协助设立面向政企交付的 Groq Systems 部门。

Groq 收购初创公司 Definitive Intelligence:全力扩建 GroqCloud
图:siliconangle.com

如果你最近在社交网络上见过那个打字像瀑布一样的 AI 生成速度演示,大概率就是 Groq 跑出来的。可对开发者来说,实验室里的芯片跑得再快,如果不能在云端随调随用,那就只能算是个好看的玩具。

做 AI 推理芯片的明星初创公司 Groq 宣布收购了数据分析初创公司 Definitive Intelligence,收购金额没有对外公开。这次收购最直接的目的,就是为了把自家的云平台 GroqCloud 做大,让更多人能随时调用他们的 LPU 芯片算力。

搞定了芯片速度,现在补齐云端入口

Groq 这家公司来头不小,CEO Jonathan Ross 之前在 Google 发明了 TPU。公司目前融资已经超过 3.6 亿美元,大部分资金来自 2021 年初由 Tiger Global 和 D1 Capital 领投的 C 轮融资。

他们的招牌产品是叫作 LPU 的推理芯片,专门用来跑训练好的大语言模型。在去年 11 月的基准测试里,Groq 的 LPU 运行 Meta 的 Llama 2 70B 模型时刷新了推理速度记录,官方宣称推理速度最高能比竞品快 10 倍。

它的底层逻辑挺特别。每个 LPU 包含被称为 TSP 的核心,每个核心自带大约 230 MB 的内存。这些核心通过片上网络连在一起,芯片能清楚知道数据在不同核心之间传递需要多少时间,大模型可以借此挑出最快的数据路线来加速计算。

但硬件再强,也得有软件和云服务来承接。这就是为什么 Groq 要上线 GroqCloud,让开发者能在上面熟悉自家的芯片架构,直接开发适配的应用,平台里也配了一套帮助上手的学习资源。

把外包伙伴买下来,顺便拆出新业务

被收购的 Definitive Intelligence 位于加州帕洛阿尔托,之前融过 1000 多万美元。这家公司原本做的是让用户用自然语言查数据和做数据可视化的 AI 应用。

有意思的是,Groq 透露其实在此次收购之前,Definitive Intelligence 就已经在帮他们搭建 GroqCloud 了。这次与其说是买技术,不如说是把已经磨合好的建站主力团队直接收编。

收购完成后,Definitive Intelligence 的联合创始人兼 CEO Sunny Madra 将加入 Groq,负责掌管 GroqCloud 业务部门。他接手后的头等大事,就是给平台扩容并吸引更多开发者。

除了云服务,Groq 还打算借这次整合成立第二个部门 Groq Systems。这个新部门专门瞄准政府机构等对安全性要求高的大组织,帮他们在自己的环境里部署部署 LPU 硬件。

为什么重要

对于想要做实时语音助手、高频交互 Agent 的开发者来说,推理延迟几乎是致命伤。Groq 开放 GroqCloud 并全力扩容,意味着开发者不用自己去采购高门槛的硬件,点几下鼠标就能试用这种极速推理,门槛降了一大截。

在行业竞争上,英伟达的真正护城河其实不是单纯的算力,而是极其成熟的 CUDA 生态和云端部署生态。硬件初创公司光拼芯片性能很难突围,Groq 这步棋走得非常清醒,哪怕芯片跑得再快,只要云端 API 不好用、开发者生态跟不上,就随时可能被英伟达拖死。

我们认为,Groq 直接收购已有合作经验的软件团队,是个很讨巧的补短板方式。芯片团队往往带着深厚的硬件基因,最容易缺的就是开发者产品体验和云服务运营经验。

不过隐患依然存在。LPU 的单核内存只有 230 MB 左右,为了跑大模型需要大量芯片互联,在大规模并发和多租户环境下,这套架构的云端服务成本和供货能力到底能不能顶住激增的流量,看起来还需要时间来检验。

来源 (1)

  1. [1]
    siliconangle.com(在新标签页打开)原文siliconangle.com

每日 AI 内容精选