Cerebras 上線 AI 推理：Llama 3.1 每秒 1800 token，成本僅 GPU 零頭
Cerebras 推出 Cerebras Inference 推理服務，跑 Llama 3.1 8B 達每秒 1800 token，比超大規模雲端 GPU 快 20 倍。全程保持原生 16 位精度，8B 模型每百萬 token 僅收 10 美分。高吞吐低延遲讓多步驟智慧體真正具備即時響應能力。
Cerebras 推出 Cerebras Inference 推理服務，跑 Llama 3.1 8B 達每秒 1800 token，比超大規模雲端 GPU 快 20 倍。全程保持原生 16 位精度，8B 模型每百萬 token 僅收 10 美分。高吞吐低延遲讓多步驟智慧體真正具備即時響應能力。