跳到正文
IFAI

開源專案

Google 內部檔案洩露:我們和 OpenAI 都毫無護城河,開源正在偷家

首次發布 傳播指數 62

一份 Google 內部備忘錄曝光,稱 Google 和 OpenAI 在 AI 競賽中都沒有護城河。檔案指出,自 Meta LLaMA 洩露以來,開源社群靠 LoRA 等低成本技術極速迭代,小模型能力已逼近閉源巨頭;繼續封閉只會落後,巨頭應主動擁抱開源生態。

Google 內部檔案洩露:我們和 OpenAI 都毫無護城河,開源正在偷家
圖:semianalysis.com

Google 和 OpenAI 還在互掐,內部卻有人悄悄潑了盆冷水:別打了,護城河根本不存在。

SemiAnalysis 披露了一份據稱來自 Google 內部研究人員的檔案。這份在公共 Discord 上流傳的檔案直言不諱:兩家巨頭在前面拼命內捲,真正的黃雀卻在後面悶聲發大財。這個第三方不是別人,正是開源社群。

獨立開發者 Simon Willison 讀完後評價,無論檔案真假,裡面的分析都是近期關於大語言模型最精彩的文章之一。

100 美元和 1000 萬美元的較量

檔案的核心觀點非常刺耳:閉源大模型自以為的高牆正在被迅速瓦解。

作者列舉了一組觸目驚心的數字:開源社群用 100 美元和 130 億引數幹成的事,巨頭們花 1000 萬美元和 5400 億引數都做得很吃力。巨頭需要搞幾個月的實驗,開源團隊幾週就迭代出來了。

如今開源模型已經能在 Pixel 6 手機上跑出每秒 5 個 token 的速度,普通人用一臺配置不錯的筆記型電腦,花一個晚上就能微調出專屬自己的個人 AI。即便是多模態領域,ScienceQA 的最前沿基準也是開源社群在短短一個小時內刷出來的。

這一切的轉折點發生在 3 月初。Meta 的 LLaMA 權重被意外洩露到網上,開源界終於拿到了第一款真正有戰鬥力的基礎底座。

隨後的發展完全失控。在沒有任何官方指令微調和人類反饋對齊的前提下,全球開發者僅用幾天時間就接連推出了 Alpaca 和 Vicuna 13-B 等衍生版本。從指令微調、量化壓縮到多模態適配,開源生態像滾雪球一樣自我演進。

堆引數成了包袱,LoRA 成了積木

為什麼巨頭會落入下風?作者指出了一個致命認知:從頭訓練超大模型,長期來看可能是一條死衚衕。

這裡最核心的武器是 LoRA。通過把模型更新參數列示為低秩矩陣,微調的體積和成本被縮減了上千倍,一次微調成本只要 100 美元左右。

更要命的是,LoRA 這類微調是可疊加的。一個開發者加上指令調優,另一個開發者疊上推理能力,第三個人再疊上工具呼叫,這些低秩更新最終能在模型上累積成全量更新。

反觀閉源巨頭,動輒花千萬美元從頭洗一遍 5400 億引數,不僅把之前的微調成果全扔了,迭代週期還被拉得極長。作者提醒,高品質的合成數據和小資料集在實際效果上遠比單純堆砌海量資料更划算。

這種情況像極了當年影像生成領域的競爭。開源的 Stable Diffusion 靠著社群外掛、UI 工具和低門檻擴散,迅速把閉源的 DALL-E 擠到了邊緣。

作者甚至挑明瞭商業層面的困境:當市面上滿是免費、沒有呼叫限制且效果差不多的替代品時,到底誰還會掏錢買 Google 那些規矩繁多、層層受限的閉源 API?

為什麼重要

這份洩露文件給整個大模型賽道揭開了一層遮羞布。

對開發者和中小團隊來說,這幾乎是一份開源狂歡的宣言書。它清楚地告訴你:現在完全不需要去眼紅巨頭的超算叢集,也不必被高昂的 API 呼叫費綁架。利用開源底座加上 LoRA,個人開發者在自己電腦上就能打磨出具備商用能力的垂直模型,儘早構建屬於自己的本地化工作流才是明智之選。

對行業而言,它精準指出了閉源巨頭的阿喀琉斯之踵。OpenAI 和 Google 搭建的「算力霸權」看似牢固,實則極易被開源社群以廣度優先搜尋的螞蟻雄兵策略慢慢蠶食。巨頭很難靠保密來維持優勢,因為人才每天都在流動,真正的技術細節根本藏不住。

我們認為,這位內部作者的洞察極其清醒,甚至可以說是冷酷。巨頭們過去習慣了靠萬卡叢集打陣地戰,但這套玩法的隱患在於極其笨重,一旦底層架構有突破,重訓成本就會讓企業背上巨大的沉沒成本。正如作者所建議的,如果巨頭不放低姿態去擁抱開源、做第三方整合和快速迭代的小模型,所謂的先發優勢很可能會在幾個月內被徹底稀釋。

來源 (2)

  1. [1]
    semianalysis.com(在新分頁開啟)原文semianalysis.com
  2. [2]

話題追蹤Google "無護城河" 備忘錄事件

這個話題的歷次新聞,最新的在上面。

  1. DeepMind CEO 談「無護城河」備忘錄:檔案是真的,但我不同意
  2. Google 內部檔案洩露:我們和 OpenAI 都毫無護城河,開源正在偷家本則

每日 AI 內容精選