Falcon 模型接入 Hugging Face：40B 登顶开源榜，支持商用

Falcon 是阿布扎比技术创新研究所（TII）开源的一组语言模型，包含 400 亿参数的 Falcon-40B 和 70 亿参数的 Falcon-7B。它采用 Apache 2.0 许可证发布，允许免费商用。在开源基准测试 Open LLM Leaderboard 上，Falcon-40B 的基础版和指令版直接拿下了前两名，超过了 LLaMA-65B；而 Falcon-7B 也是同体量里表现最好的模型。

除了基础模型，官方还放出了微调过的 Falcon-7B-Instruct 和 Falcon-40B-Instruct，适合直接拿来做对话和助手类任务。此外，官方还开源了其训练数据集中抽取出的 6000 亿 token 的 RefinedWeb 数据集，供社区训练自己的模型。

它是怎么做到的

Falcon 性能出色的核心在于数据质量。与以往模型依赖大量分散的人工精选数据不同，Falcon 超过 80% 的预训练数据来自 RefinedWeb。TII 通过对 CommonCrawl 进行大规模去重和严格过滤，证明了高质量的网络数据足以支撑顶级大模型的训练。在训练量上，7B 模型训练了 1.5 万亿 token，40B 模型训练了 1 万亿 token。

架构设计上，Falcon 采用了 Multi-Query Attention。传统的注意力机制每个注意力头都有独立的 Key 和 Value，而 Multi-Query 则是所有头共享一组 Key 和 Value。这让自回归解码过程中的 KV 缓存大幅缩水 10 到 100 倍。在 2048 上下文长度下，Falcon-40B 的 KV 缓存只有 240MB，而 LLaMA-65B 需要 5400MB；Falcon-7B 的 KV 缓存更是低至 20MB。

硬件要求与上手方式

Falcon-7B 的显存需求大约在 15GB 左右，消费级显卡可以直接跑推理和微调。社区甚至做出了 Core ML 版本，可以在 M1 MacBook Pro 上本地跑起来。如果想在服务器上跑，直接选一张 Nvidia A10G 就可以部署。

Falcon-40B 在全精度 bfloat16 下需要约 90GB 显存，单张 80GB 的 A100 装不下。不过通过 8 位量化，显存可以压到 45GB，能塞进一张 48GB 的 A6000 里；如果用 4 位量化，显存占用约为 27GB，能在 30GB 或 40GB 显存的显卡上运行。

使用 Hugging Face 的 transformers 库调用时，需要注意两点：模型是用 bfloat16 训练的，建议推理也用该精度；另外由于采用了新架构，加载时需要设置 trust_remote_code=True。想要高并发部署的，可以用 Hugging Face 的 Text Generation Inference（TGI）容器，或者在 Inference Endpoints 上一键拉起。

为什么重要

在此之前，开源社区里性能强劲的模型大多带着非商用许可，想要在商业产品里落地总是绕不开法律风险。Falcon-40B 不仅在客观基准测试上超越了 LLaMA-65B，更重要的是它彻底放开了 Apache 2.0 许可证，让中小团队无需申请授权就能直接商用。

我们认为，对于需要自建对话助手、注重数据隐私或有特定领域微调需求的企业，Falcon 几乎是目前最值得优先尝试的开源基底。它的 Multi-Query Attention 让大并发下的推理成本降低了一个数量级，这一点在生产环境中比跑分更有实际价值。不过由于架构较新，旧版推理框架可能需要一定适配工作，这是上手前需要考虑的工程成本。