Cerebras 上线 AI 推理：Llama 3.1 每秒 1800 token，成本仅 GPU 零头
Cerebras 推出 Cerebras Inference 推理服务，跑 Llama 3.1 8B 达每秒 1800 token，比超大规模云端 GPU 快 20 倍。全程保持原生 16 位精度，8B 模型每百万 token 仅收 10 美分。高吞吐低延迟让多步骤智能体真正具备实时响应能力。
Cerebras 推出 Cerebras Inference 推理服务，跑 Llama 3.1 8B 达每秒 1800 token，比超大规模云端 GPU 快 20 倍。全程保持原生 16 位精度，8B 模型每百万 token 仅收 10 美分。高吞吐低延迟让多步骤智能体真正具备实时响应能力。