Meta 推出基础大模型 LLaMA：最高 650 亿参数，大幅降低算力门槛

大家这几个月都被参数规模吓怕了，动辄上千亿参数的模型，不仅普通开发者碰不到，就连很多顶尖高校的实验室也只能望卡兴叹。

Meta 正式发布了基础语言模型 LLaMA（Large Language Model Meta AI），直接把这扇厚重的大门踹开了一条缝。扎克伯格亲自在社交平台上宣布，要把这个新模型开放给 AI 研究界。

这次 Meta 一口气拿出了四个尺寸：70 亿（7B）、130 亿（13B）、330 亿（33B）和 650 亿（65B）参数。最引人注目的是，它们虽然个头小，战斗力却极其凶悍。

小体量也能掀翻千亿大模型

按照 Meta 研究团队给出的数据，只有 130 亿参数的 LLaMA，在绝大多数基准测试里已经超过了 1750 亿参数的 GPT-3，同时击败了 Meta 自家的开源模型 OPT。更夸张的是，这个 13B 模型只需要一张英伟达 Tesla V100 显卡就能跑起来。

至于最大的 650 亿参数版本，Meta 表示它完全可以叫板谷歌拥有 5400 亿参数的 PaLM，综合实力也追平了 DeepMind 的 Chinchilla。

LLaMA 能越级打怪，核心秘密在于训练数据的喂养方式。过去大家总觉得模型参数越大越聪明，但 Meta 借鉴了 DeepMind 的 Chinchilla 缩放法则，换了一个思路：把模型做小，但给它喂远超以往的数据量。

对比来看，GPT-3 当年只吃了 3000 亿 token，而 LLaMA 的 7B 和 13B 版本吃了足足 1 万亿 token，33B 和 65B 更是喂到了 1.4 万亿 token。Meta 的研究员 Guillaume Lample 透露，即便跑满了 1 万亿 token，7B 版本的性能竟然还在往上走。

全公开数据与非商业许可

另一个关键动作是数据的透明度。LLaMA 声称完全基于公开可获取的数据集进行训练，没有使用任何未公开的私有数据。

在它的语料库中，有 67% 来自清洗后的英文 Common Crawl 数据，其余部分来自公开的 GitHub 代码库、维基百科等，语种主要涵盖 20 种使用拉丁和西里尔字母的主流语言。

不过，Meta 并没有无条件直接放开下载。为了防止技术滥用和生成有害内容，LLaMA 采用了非商业 GPL v3 许可证。

学术机构、政府组织、民间团体以及企业的工业研究实验室，需要通过逐案审核的方式向 Meta 申请模型权重的使用权限。

为什么重要

这可以说是大模型研发逻辑的一次关键转向。

过去大厂竞赛像是在比拼谁能造出更贵的火箭，算力门槛把绝大多数开发者和独立学者挡在门外。我们认为，Meta 证明了用更多数据把小模型「训透」不仅可行，而且在经济账上划算得多。

训练一个超大模型也许能快速达到某个分数，但模型上线后的推理成本才是无底洞。小模型训练起来耗时费电，可一旦到了实际部署阶段，推断速度更快、显存占用更低，这才是真正能落地的方案。

对于研究者来说，现在有一张单卡显卡就能折腾 GPT-3 级别的模型，研究模型毒性、偏见和微调的门槛被彻底打了下来。不过这也留下了隐患：虽然 Meta 签署了非商业研究协议，但这类开源权重在社区里极易外泄，一旦被恶意滥用，缺乏云端安全防护的开源模型很难追责。