跳到正文
IFAI

开源项目

Google 内部文件泄露:我们和 OpenAI 都毫无护城河,开源正在偷家

首次发布 传播指数 62

一份 Google 内部备忘录曝光,称 Google 和 OpenAI 在 AI 竞赛中都没有护城河。文件指出,自 Meta LLaMA 泄露以来,开源社区靠 LoRA 等低成本技术极速迭代,小模型能力已逼近闭源巨头;继续封闭只会落后,巨头应主动拥抱开源生态。

Google 内部文件泄露:我们和 OpenAI 都毫无护城河,开源正在偷家
图:semianalysis.com

Google 和 OpenAI 还在互掐,内部却有人悄悄泼了盆冷水:别打了,护城河根本不存在。

SemiAnalysis 披露了一份据称来自 Google 内部研究人员的文件。这份在公共 Discord 上流传的文件直言不讳:两家巨头在前面拼命内卷,真正的黄雀却在后面闷声发大财。这个第三方不是别人,正是开源社区。

独立开发者 Simon Willison 读完后评价,无论文件真假,里面的分析都是近期关于大语言模型最精彩的文章之一。

100 美元和 1000 万美元的较量

文件的核心观点非常刺耳:闭源大模型自以为的高墙正在被迅速瓦解。

作者列举了一组触目惊心的数字:开源社区用 100 美元和 130 亿参数干成的事,巨头们花 1000 万美元和 5400 亿参数都做得很吃力。巨头需要搞几个月的实验,开源团队几周就迭代出来了。

如今开源模型已经能在 Pixel 6 手机上跑出每秒 5 个 token 的速度,普通人用一台配置不错的笔记本电脑,花一个晚上就能微调出专属自己的个人 AI。即便是多模态领域,ScienceQA 的最前沿基准也是开源社区在短短一个小时内刷出来的。

这一切的转折点发生在 3 月初。Meta 的 LLaMA 权重被意外泄露到网上,开源界终于拿到了第一款真正有战斗力的基础底座。

随后的发展完全失控。在没有任何官方指令微调和人类反馈对齐的前提下,全球开发者仅用几天时间就接连推出了 Alpaca 和 Vicuna 13-B 等衍生版本。从指令微调、量化压缩到多模态适配,开源生态像滚雪球一样自我演进。

堆参数成了包袱,LoRA 成了积木

为什么巨头会落入下风?作者指出了一个致命认知:从头训练超大模型,长期来看可能是一条死胡同。

这里最核心的武器是 LoRA。通过把模型更新参数表示为低秩矩阵,微调的体积和成本被缩减了上千倍,一次微调成本只要 100 美元左右。

更要命的是,LoRA 这类微调是可叠加的。一个开发者加上指令调优,另一个开发者叠上推理能力,第三个人再叠上工具调用,这些低秩更新最终能在模型上累积成全量更新。

反观闭源巨头,动辄花千万美元从头洗一遍 5400 亿参数,不仅把之前的微调成果全扔了,迭代周期还被拉得极长。作者提醒,高品质的合成数据和小数据集在实际效果上远比单纯堆砌海量数据更划算。

这种情况像极了当年图像生成领域的竞争。开源的 Stable Diffusion 靠着社区插件、UI 工具和低门槛扩散,迅速把闭源的 DALL-E 挤到了边缘。

作者甚至挑明了商业层面的困境:当市面上满是免费、没有调用限制且效果差不多的替代品时,到底谁还会掏钱买 Google 那些规矩繁多、层层受限的闭源 API?

为什么重要

这份泄露文档给整个大模型赛道揭开了一层遮羞布。

对开发者和中小团队来说,这几乎是一份开源狂欢的宣言书。它清楚地告诉你:现在完全不需要去眼红巨头的超算集群,也不必被高昂的 API 调用费绑架。利用开源底座加上 LoRA,个人开发者在自己电脑上就能打磨出具备商用能力的垂直模型,尽早构建属于自己的本地化工作流才是明智之选。

对行业而言,它精准指出了闭源巨头的阿喀琉斯之踵。OpenAI 和 Google 搭建的「算力霸权」看似牢固,实则极易被开源社区以广度优先搜索的蚂蚁雄兵策略慢慢蚕食。巨头很难靠保密来维持优势,因为人才每天都在流动,真正的技术细节根本藏不住。

我们认为,这位内部作者的洞察极其清醒,甚至可以说是冷酷。巨头们过去习惯了靠万卡集群打阵地战,但这套玩法的隐患在于极其笨重,一旦底层架构有突破,重训成本就会让企业背上巨大的沉没成本。正如作者所建议的,如果巨头不放低姿态去拥抱开源、做第三方集成和快速迭代的小模型,所谓的先发优势很可能会在几个月内被彻底稀释。

来源 (2)

  1. [1]
    semianalysis.com(在新标签页打开)原文semianalysis.com
  2. [2]

话题追踪Google "无护城河" 备忘录事件

这个话题的历次新闻,最新的在上面。

  1. DeepMind CEO 谈「无护城河」备忘录:文件是真的,但我不同意
  2. Google 内部文件泄露:我们和 OpenAI 都毫无护城河,开源正在偷家本条

每日 AI 内容精选