Meta 聯手高通：2024 年起讓 Llama 2 直接在手機和 PC 上跑

過去大半年裡，幾乎所有人都在討論大模型，但賺錢的狂歡似乎只屬於輝達。成千上萬塊頂級顯示卡塞滿雲端機房，把輝達股價推高了超過 220%，而平時裝在大家手機和筆記本里的高通晶片，今年股價漲幅只有可憐的 10% 左右，連納斯達克 36% 的大盤都沒跑贏。

高通顯然不想繼續在場邊看熱鬧了。

週二，高通和 Meta 正式宣佈聯手，計劃從 2024 年開始，讓 Meta 最新發布的大語言模型 Llama 2 直接跑在高通晶片驅動的智慧手機和 PC 上。換句話說，大模型不用再大費周章地掛在雲端伺服器上，而是要被直接塞進你的口袋裡。

把吞金獸塞進小口袋

大模型之所以一直被困在資料中心，說白了就一個字：貴。每次你在雲端調一次 ChatGPT，背後都是算力和電費在瘋狂燃燒。

高通打的主意是所謂的「端側 AI」。只要能把模型挪到手機本地執行，不僅能把昂貴的資料中心運維成本直接打下來，手機自帶的語音助手和各種應用也能省去網路延遲，響應變得更快、更聰明。

這裡面的核心功臣是 Meta 的開源策略。OpenAI 的 GPT-4 和谷歌的 Bard 都把模型權重當成商業機密藏得嚴嚴實實，但 Meta 選擇把 Llama 2 的權重完全公開，允許開發者甚至商業公司免費拿去用。

正因為模型是開放的，工程師才能把它壓縮打包成體積極小的程式，剛好能夠塞進手機的記憶體裡。

手機能跑，但跑得多順？

高通自己的底氣，來自處理器裡自帶的張量計算單元。這類專門處理 AI 運算的模組，在架構上非常契合神經網路計算。

兩家公司此前在 Meta Quest 虛擬現實頭顯的晶片上就已經合作多年，算是有現成的默契。高通此前也展示過在手機晶片上本地執行 Stable Diffusion 影像生成模型，只不過當時的生成速度確實談不上快。

擺在眼前的物理限制也很殘酷。手機晶片再怎麼拼命最佳化，電池容量和散熱空間就擺在那裡，能壓榨出的算力比起機房裡成群結隊的頂級專業顯示卡，差距依然非常懸殊。

為什麼重要

對普通使用者和開發者來說，端側執行大模型最大的意義就是零成本和隱私安全。如果語音助手完全在本地回答你的日程、處理郵件，你不需要每月掏訂閱費，也不用擔心自己的私密資料被上傳到別家伺服器上拿去訓練。雖然 2024 年才能落地，但這件事給應用開發者指了一條明路，不用再被昂貴的 API 賬單卡死脖子。

對行業來說，高通和 Meta 的聯盟直接把戰火從雲端算力燒到了終端晶片。這會倒逼聯發科、蘋果以及微軟加快端側 AI 架構的跟進步伐，讓大模型的競爭從單純拼引數規模，轉向拼邊緣壓縮和能效比。

我們認為高通這一步走得相當務實。在雲端算力市場正面硬剛輝達幾乎沒有勝算，但高通在移動終端擁有現成的出貨量護城河。不過隱患也很明顯，手機端大模型的實際體驗究竟是真可用，還是像早期本地跑畫圖工具那樣慢得讓人抓狂，全看高通明年的能效最佳化到底能做到什麼程度。