Cerebrasが超高速AI推論を発表、Llama 3.1で毎秒1800トークンを達成
Cerebras Systemsは超高速AI推論サービス「Cerebras Inference」を発表した。Llama 3.1 8Bで毎秒1800トークンを記録し、クラウドGPU比で20倍高速かつネイティブな16ビット精度を維持する。料金は8Bモデルで100万トークンあたり10セントからで、マルチステップなAIエージェントのリアルタイム処理を加速する。
Cerebras Systemsは超高速AI推論サービス「Cerebras Inference」を発表した。Llama 3.1 8Bで毎秒1800トークンを記録し、クラウドGPU比で20倍高速かつネイティブな16ビット精度を維持する。料金は8Bモデルで100万トークンあたり10セントからで、マルチステップなAIエージェントのリアルタイム処理を加速する。