TII 发布开源模型 Falcon 180B：1800 亿参数，性能看齐 PaLM 2

Falcon 180B 是阿联酋技术创新研究院（TII）推出的开源大语言模型，拥有 1800 亿参数，直接刷平了开源模型的规模纪录。

它不仅规模是 Meta 旗下 Llama 2 70B 的 2.5 倍，而且训练时灌进去了 3.5 万亿 token 的数据，消耗了大约 700 万个 GPU 小时。在各项综合测试中，它的表现超过了 Llama 2 70B 和 OpenAI 的 GPT-3.5，基本能看齐 Google 的闭源模型 PaLM 2-Large。

它是怎么炼成的

Falcon 180B 沿用了之前 Falcon 40B 的架构设计，核心是利用多查询注意力机制（Multiquery Attention）来提升长文本处理和推理扩展能力。

训练数据方面，大约 85% 来自 TII 自家清洗的 RefinedWeb 网络数据集，其余是高质量对话、技术论文以及约 3% 的代码。因为预训练数据极其庞大，3.5 万亿 token 跑完甚至还不足完整的一轮周期。

TII 这次同时放出了预训练基座模型和微调过的对话模型。基座模型适合拿来做下游领域微调，对话版本则套用了简单的多轮对话提示格式，方便开发者开箱即用。

硬件要求与性能表现

性能上，Falcon 180B 在发布时的 Hugging Face 开源大模型排行榜上跑出 68.74 分，稳坐第一。在 MMLU 测试中它超越了 Llama 2 70B，在 HellaSwag、LAMBADA、ARC 等基准测试里则咬平了 PaLM 2-Large。整体实力介于 GPT-3.5 与 GPT-4 之间。

不过，把这只巨兽跑起来代价极高。如果是原始精度（BF16 或 FP16）做推理，需要 640GB 显存，至少要准备 8 张 80GB 显存的 A100。哪怕用 int4 量化，也需要 320GB 显存，也就是 8 张 40GB 的 A100。

想要自己做全参数微调，得堆出 64 张 A100 80GB；如果用 QLoRA 技术微调，门槛能降到 2 张 A100 80GB。好消息是，8-bit 和 4-bit 量化后的模型在各项基准测试里几乎没有掉点，推理速度上 8-bit 会比 4-bit 更快一些。

怎么上手和限制

只要把 Hugging Face 的 Transformers 升级到 4.33 以上版本，就可以通过 Python 代码直接调用 tiiuae/falcon-180B。官方生态已经支持 safetensors 权重格式、bitsandbytes 量化以及 PEFT 高效微调。

普通用户如果只是想体验，可以直接访问 Hugging Face Space 上的 Falcon Chat 在线演示，不需要自己掏钱租卡。

特别需要看清楚的是许可证。虽然 Falcon 180B 公开开放权重，但商用条款非常苛刻，明确排除了任何提供模型托管服务的商业模式。想把它打包成 API 卖钱或者对外提供推理服务的团队，务必先让法务评估风险。

为什么重要

我们认为，Falcon 180B 证明了单靠规模扩展和干净的预训练数据，开源阵营完全有能力把性能推到逼近顶级闭源模型的水平。它让不想依赖 OpenAI 和 Google 商业 API 的机构多了一个重量级选择。

不过对绝大多数开发者和中小团队来说，这更像是一块性能灯塔而非日常工具。单次推理就需要 8 张高端显卡，加上禁止商业托管的协议限制，它的实际落地成本极高。眼下真正有能力用好它的，主要是那些算力充沛、需要在私有环境中做深度定制的研究机构与大型企业。