SemiAnalysis 分析 Google Gemini：預訓練算力年底或達 GPT-4 的 5 倍

大家都在看 OpenAI 和微軟怎麼跑馬圈地，但很多人忘了，那個真正手握大把籌碼的巨人剛剛醒過來。

知名半導體研究機構 SemiAnalysis 最近發了篇長文，給整個 AI 圈潑了盆冷水，也扔了個深水炸彈。他們推測，Google 正在全力訓練的新模型 Gemini，到今年年底其預訓練 FLOPS 算力規模將達到 GPT-4 的 5 倍；照目前的硬體擴建速度，到明年年底這個數字甚至可能變成 20 倍。

很多人以為 Google 在聊天機器人這一局徹底輸了，但 SemiAnalysis 的看法恰恰相反：這家公司不僅醒了，而且算力家底厚得嚇人。

矽谷新殘酷現實：算力富人與算力窮人

SemiAnalysis 在報告裡直接把圈子切成了兩半：算力富人（GPU-Rich）和算力窮人（GPU-Poor）。

富人俱樂部只有極少數玩家，比如 OpenAI、Google、Anthropic、Meta、Inflection 和 X。這些巨頭手握兩萬張以上的 A100 或 H100 顯示卡，頂尖研究員人均分到的顯示卡多到可以拿來跑各種私人小專案。在舊金山灣區，頂級研究員跳槽甚至開始攀比誰能調動的 GPU 更多。

另一邊則是大批初創團隊和開源社群構成的算力窮人。他們手裡只有零星幾張視訊記憶體不足的卡，整天為視訊記憶體溢位抓狂。

在 SemiAnalysis 看來，這幫窮人正在嚴重內捲且做無用功。很多人用大模型蒸餾出小模型，在各種公開榜單上刷分，給模型起各種花哨的名字，卻忽略了真實場景根本沒用。他們受限於視訊記憶體，只敢用密集模型死磕量化，而真正該做的稀疏架構 MoE、投機解碼和萬億級高質量清洗資料，窮人們根本玩不起。

甚至連 HuggingFace、Together 和剛剛收購 MosaicML 的 Databricks，在報告裡也被划進了算力窮人堆。雖然他們能拿到幾千張卡，但在龐大的企業微調需求面前，依然遠遠不夠看。

唯一的救星：Google 的自研晶片底牌

現在整個行業的悲劇在於，無論是微軟、Meta 還是各路初創公司，本質上都在充當輝達的提款機。輝達一邊賣卡，一邊還在用自家的 DGX Cloud 雲服務搶下游客戶的生意。

誰能打破這種被輝達卡脖子的局面？SemiAnalysis 認為只有 Google。

因為 Google 根本不用完全依賴輝達。除了內部儲備的大量 GPU，Google 真正的底牌是自研 TPU。根據產業鏈測算，Google 新一代代號 Viperfish 的 TPUv5 正在瘋狂擴產。即便完全不計入舊款 TPUv4 和輕量版的 TPUv5e，單憑 TPUv5 的落地速度，Google 就足以在底層基礎設施上建立起恐怖的計算護城河。

換句話說，當大家還在排隊搶 H100 的時候，Google 已經靠著自家的高效晶片，把 Gemini 的迭代速度推到了同行難以企及的維度。

為什麼重要

這份報告最戳人的地方，是戳破了開源大模型能輕鬆幹翻閉源巨頭的幻想。做大模型不是光靠情懷和微調技巧就行，底層就是極其殘酷的重工業資本遊戲。如果中小團隊繼續沉迷於在刷榜資料集上做低水平重複，差距只會被越拉越大。

對於開發者和企業來說，這意味著未來真正的基座模型依然只會出自極少數巨頭之手。指望開源社群在沒有海量算力支撐下憑空變出超越 GPT-4 的通用模型，短期內很不現實。我們認為，初創團隊更明智的做法是別去卷預訓練，而是老老實實找準垂直場景，甚至像報告建議的那樣，把有限的精力放在投機解碼、端側低延遲推理等真正有工程價值的環節上。

至於行業競爭，Google 這頭睡獅如果真能把 5 倍甚至 20 倍於 GPT-4 的算力變現為模型能力，現在的 LLM 格局就會被徹底洗牌。但我們也看到，Google 的歷史包袱從不在算力，而在於決策層有沒有魄力把這些算力怪獸毫無保留地端出來，並且不傷及自家的搜尋廣告飯碗。算力再大，不敢放手給使用者用，依然只是機房裡的昂貴暖氣。