Meta 推出基礎大模型 LLaMA：最高 650 億引數，大幅降低算力門檻

大家這幾個月都被引數規模嚇怕了，動輒上千億引數的模型，不僅普通開發者碰不到，就連很多頂尖高校的實驗室也只能望卡興嘆。

Meta 正式釋出了基礎語言模型 LLaMA（Large Language Model Meta AI），直接把這扇厚重的大門踹開了一條縫。扎克伯格親自在社交平臺上宣佈，要把這個新模型開放給 AI 研究界。

這次 Meta 一口氣拿出了四個尺寸：70 億（7B）、130 億（13B）、330 億（33B）和 650 億（65B）引數。最引人注目的是，它們雖然個頭小，戰鬥力卻極其兇悍。

小體量也能掀翻千億大模型

按照 Meta 研究團隊給出的資料，只有 130 億引數的 LLaMA，在絕大多數基準測試裡已經超過了 1750 億引數的 GPT-3，同時擊敗了 Meta 自家的開源模型 OPT。更誇張的是，這個 13B 模型只需要一張輝達 Tesla V100 顯示卡就能跑起來。

至於最大的 650 億引數版本，Meta 表示它完全可以叫板谷歌擁有 5400 億引數的 PaLM，綜合實力也追平了 DeepMind 的 Chinchilla。

LLaMA 能越級打怪，核心秘密在於訓練資料的餵養方式。過去大家總覺得模型引數越大越聰明，但 Meta 借鑑了 DeepMind 的 Chinchilla 縮放法則，換了一個思路：把模型做小，但給它喂遠超以往的資料量。

對比來看，GPT-3 當年只吃了 3000 億 token，而 LLaMA 的 7B 和 13B 版本吃了足足 1 萬億 token，33B 和 65B 更是喂到了 1.4 萬億 token。Meta 的研究員 Guillaume Lample 透露，即便跑滿了 1 萬億 token，7B 版本的效能竟然還在往上走。

全公開資料與非商業許可

另一個關鍵動作是資料的透明度。LLaMA 聲稱完全基於公開可獲取的資料集進行訓練，沒有使用任何未公開的私有資料。

在它的語料庫中，有 67% 來自清洗後的英文 Common Crawl 資料，其餘部分來自公開的 GitHub 程式碼庫、維基百科等，語種主要涵蓋 20 種使用拉丁和西里爾字母的主流語言。

不過，Meta 並沒有無條件直接放開下載。為了防止技術濫用和生成有害內容，LLaMA 採用了非商業 GPL v3 許可證。

學術機構、政府組織、民間團體以及企業的工業研究實驗室，需要通過逐案稽核的方式向 Meta 申請模型權重的使用許可權。

為什麼重要

這可以說是大模型研發邏輯的一次關鍵轉向。

過去大廠競賽像是在比拼誰能造出更貴的火箭，算力門檻把絕大多數開發者和獨立學者擋在門外。我們認為，Meta 證明了用更多資料把小模型「訓透」不僅可行，而且在經濟賬上划算得多。

訓練一個超大模型也許能快速達到某個分數，但模型上線後的推理成本才是無底洞。小模型訓練起來耗時費電，可一旦到了實際部署階段，推斷速度更快、視訊記憶體佔用更低，這才是真正能落地的方案。

對於研究者來說，現在有一張單卡顯示卡就能折騰 GPT-3 級別的模型，研究模型毒性、偏見和微調的門檻被徹底打了下來。不過這也留下了隱患：雖然 Meta 簽署了非商業研究協議，但這類開源權重在社群裡極易外洩，一旦被惡意濫用，缺乏雲端安全防護的開源模型很難追責。