NVIDIA 全面加速 Llama 3：單張 H200 跑 70B 每秒吐 3000 token

Meta 的開源大模型 Llama 3 剛一亮相，輝達就迅速跟進，把全套加速方案直接端上了桌。

算力的軍備競賽不僅在於誰的模型引數大，更在於誰能把它跑得又快又便宜。輝達宣佈針對 Llama 3 在雲端、資料中心、邊緣裝置和 PC 進行全方位最佳化。

訓練堆了 2.4 萬張卡，推理單卡帶 300 人

根據輝達公佈的資訊，Meta 是用 24576 張輝達 H100 Tensor Core GPU 訓練出 Llama 3 的，底層走的是 RoCE 與 Quantum-2 InfiniBand 網路。不僅如此，Meta 還打算把這套算力底座擴充套件到 35 萬張 H100。

訓練砸了大錢，實際部署的賬本也算得很細。普通人的閱讀速度大概是每秒 10 個 token，聊天機器人想要體驗流暢，輸出速度得達到兩倍左右。

在初始測試中，單張輝達 H200 GPU 跑 70B 引數的 Llama 3，生成速度達到了每秒約 3000 個 token。算下來，這一張卡就足夠同時支撐約 300 個併發使用者使用。

如果換成由 8 張 H200 組成的 HGX 伺服器，總吞吐量能飆到每秒 24000 個 token，可以同時服務超過 2400 位使用者。

邊緣端也能跑，覆蓋 1 億臺 PC

除了資料中心，輕量化的 8B 版本 Llama 3 被搬到了邊緣端和個人電腦上。

在機器人和邊緣計算裝置 Jetson AGX Orin 上，8B 版本的生成速度能達到每秒 40 個 token；即使在更小型的 Jetson Orin Nano 上，也能跑出每秒 15 個 token，滿足基本對話毫無壓力。

開發者現在可以直接在瀏覽器開啟 ai.nvidia.com 試用，輝達已經把它打包成 NIM 微服務並提供標準 API。

企業使用者則可以通過 NeMo 框架用自有資料進行微調，再通過 TensorRT-LLM 最佳化和 Triton Inference Server 部署。輝達還特別提到，全球超過 1 億臺搭載 RTX 和 GeForce RTX GPU 的 PC 和工作站，都能直接用來跑 Llama 3 推理。

為什麼重要

我們認為，輝達這篇部落格看似是在給 Meta 捧場，實際上是在穩固自己的推理護城河。

過去大家總覺得輝達的優勢全在訓練，推理市場遲早會被各家自研晶片和專用推理 ASIC 蠶食。但輝達拿出的這組資料相當現實：單臺 HGX 伺服器扛 2400 個併發，直接把 70B 級別大模型的單使用者部署成本打到了極低的水平。

對於開發者和中小團隊來說，現在是個非常划算的切入點。8B 模型在本地 RTX 顯示卡甚至邊緣裝置上就能順暢跑起來，完全不需要向雲端 API 支付昂貴的按量呼叫費，資料還不用出本地。

不過看起來輝達也在用龐大的軟硬體繫結建立新的圍牆。從 NIM 微服務到 TensorRT-LLM，開發者用它的工具越順手，未來切換到其他非輝達硬體的遷移成本就越高。