SemiAnalysis 分析 Google Gemini：预训练算力年底或达 GPT-4 的 5 倍

大家都在看 OpenAI 和微软怎么跑马圈地，但很多人忘了，那个真正手握大把筹码的巨人刚刚醒过来。

知名半导体研究机构 SemiAnalysis 最近发了篇长文，给整个 AI 圈泼了盆冷水，也扔了个深水炸弹。他们推测，Google 正在全力训练的新模型 Gemini，到今年年底其预训练 FLOPS 算力规模将达到 GPT-4 的 5 倍；照目前的硬件扩建速度，到明年年底这个数字甚至可能变成 20 倍。

很多人以为 Google 在聊天机器人这一局彻底输了，但 SemiAnalysis 的看法恰恰相反：这家公司不仅醒了，而且算力家底厚得吓人。

硅谷新残酷现实：算力富人与算力穷人

SemiAnalysis 在报告里直接把圈子切成了两半：算力富人（GPU-Rich）和算力穷人（GPU-Poor）。

富人俱乐部只有极少数玩家，比如 OpenAI、Google、Anthropic、Meta、Inflection 和 X。这些巨头手握两万张以上的 A100 或 H100 显卡，顶尖研究员人均分到的显卡多到可以拿来跑各种私人小项目。在旧金山湾区，顶级研究员跳槽甚至开始攀比谁能调动的 GPU 更多。

另一边则是大批初创团队和开源社区构成的算力穷人。他们手里只有零星几张显存不足的卡，整天为显存溢出抓狂。

在 SemiAnalysis 看来，这帮穷人正在严重内卷且做无用功。很多人用大模型蒸馏出小模型，在各种公开榜单上刷分，给模型起各种花哨的名字，却忽略了真实场景根本没用。他们受限于显存，只敢用密集模型死磕量化，而真正该做的稀疏架构 MoE、投机解码和万亿级高质量清洗数据，穷人们根本玩不起。

甚至连 HuggingFace、Together 和刚刚收购 MosaicML 的 Databricks，在报告里也被划进了算力穷人堆。虽然他们能拿到几千张卡，但在庞大的企业微调需求面前，依然远远不够看。

唯一的救星：Google 的自研芯片底牌

现在整个行业的悲剧在于，无论是微软、Meta 还是各路初创公司，本质上都在充当英伟达的提款机。英伟达一边卖卡，一边还在用自家的 DGX Cloud 云服务抢下游客户的生意。

谁能打破这种被英伟达卡脖子的局面？SemiAnalysis 认为只有 Google。

因为 Google 根本不用完全依赖英伟达。除了内部储备的大量 GPU，Google 真正的底牌是自研 TPU。根据产业链测算，Google 新一代代号 Viperfish 的 TPUv5 正在疯狂扩产。即便完全不计入旧款 TPUv4 和轻量版的 TPUv5e，单凭 TPUv5 的落地速度，Google 就足以在底层基础设施上建立起恐怖的计算护城河。

换句话说，当大家还在排队抢 H100 的时候，Google 已经靠着自家的高效芯片，把 Gemini 的迭代速度推到了同行难以企及的维度。

为什么重要

这份报告最戳人的地方，是戳破了开源大模型能轻松干翻闭源巨头的幻想。做大模型不是光靠情怀和微调技巧就行，底层就是极其残酷的重工业资本游戏。如果中小团队继续沉迷于在刷榜数据集上做低水平重复，差距只会被越拉越大。

对于开发者和企业来说，这意味着未来真正的基座模型依然只会出自极少数巨头之手。指望开源社区在没有海量算力支撑下凭空变出超越 GPT-4 的通用模型，短期内很不现实。我们认为，初创团队更明智的做法是别去卷预训练，而是老老实实找准垂直场景，甚至像报告建议的那样，把有限的精力放在投机解码、端侧低延迟推理等真正有工程价值的环节上。

至于行业竞争，Google 这头睡狮如果真能把 5 倍甚至 20 倍于 GPT-4 的算力变现为模型能力，现在的 LLM 格局就会被彻底洗牌。但我们也看到，Google 的历史包袱从不在算力，而在于决策层有没有魄力把这些算力怪兽毫无保留地端出来，并且不伤及自家的搜索广告饭碗。算力再大，不敢放手给用户用，依然只是机房里的昂贵暖气。