NVIDIA 全面加速 Llama 3：单张 H200 跑 70B 每秒吐 3000 token

Meta 的开源大模型 Llama 3 刚一亮相，英伟达就迅速跟进，把全套加速方案直接端上了桌。

算力的军备竞赛不仅在于谁的模型参数大，更在于谁能把它跑得又快又便宜。英伟达宣布针对 Llama 3 在云端、数据中心、边缘设备和 PC 进行全方位优化。

训练堆了 2.4 万张卡，推理单卡带 300 人

根据英伟达公布的信息，Meta 是用 24576 张英伟达 H100 Tensor Core GPU 训练出 Llama 3 的，底层走的是 RoCE 与 Quantum-2 InfiniBand 网络。不仅如此，Meta 还打算把这套算力底座扩展到 35 万张 H100。

训练砸了大钱，实际部署的账本也算得很细。普通人的阅读速度大概是每秒 10 个 token，聊天机器人想要体验流畅，输出速度得达到两倍左右。

在初始测试中，单张英伟达 H200 GPU 跑 70B 参数的 Llama 3，生成速度达到了每秒约 3000 个 token。算下来，这一张卡就足够同时支撑约 300 个并发用户使用。

如果换成由 8 张 H200 组成的 HGX 服务器，总吞吐量能飙到每秒 24000 个 token，可以同时服务超过 2400 位用户。

边缘端也能跑，覆盖 1 亿台 PC

除了数据中心，轻量化的 8B 版本 Llama 3 被搬到了边缘端和个人电脑上。

在机器人和边缘计算设备 Jetson AGX Orin 上，8B 版本的生成速度能达到每秒 40 个 token；即使在更小型的 Jetson Orin Nano 上，也能跑出每秒 15 个 token，满足基本对话毫无压力。

开发者现在可以直接在浏览器打开 ai.nvidia.com 试用，英伟达已经把它打包成 NIM 微服务并提供标准 API。

企业用户则可以通过 NeMo 框架用自有数据进行微调，再通过 TensorRT-LLM 优化和 Triton Inference Server 部署。英伟达还特别提到，全球超过 1 亿台搭载 RTX 和 GeForce RTX GPU 的 PC 和工作站，都能直接用来跑 Llama 3 推理。

为什么重要

我们认为，英伟达这篇博客看似是在给 Meta 捧场，实际上是在稳固自己的推理护城河。

过去大家总觉得英伟达的优势全在训练，推理市场迟早会被各家自研芯片和专用推理 ASIC 蚕食。但英伟达拿出的这组数据相当现实：单台 HGX 服务器扛 2400 个并发，直接把 70B 级别大模型的单用户部署成本打到了极低的水平。

对于开发者和中小团队来说，现在是个非常划算的切入点。8B 模型在本地 RTX 显卡甚至边缘设备上就能顺畅跑起来，完全不需要向云端 API 支付昂贵的按量调用费，数据还不用出本地。

不过看起来英伟达也在用庞大的软硬件绑定建立新的围墙。从 NIM 微服务到 TensorRT-LLM，开发者用它的工具越顺手，未来切换到其他非英伟达硬件的迁移成本就越高。