세레브라스, 세계 최고속 AI 추론 출시…Llama 3.1 초당 1800토큰 기록
세레브라스 시스템즈가 초고속 AI 추론 서비스인 '세레브라스 인퍼런스'를 공개했다. Llama 3.1 8B 모델 기준 초당 1800토큰을 출력해 기존 GPU 클라우드 대비 20배 빠르며 16비트 정밀도를 온전히 유지한다. 가격은 8B 기준 100만 토큰당 10센트부터 시작해 다단계 AI 에이전트의 실시간 반응성을 획기적으로 개선한다.
세레브라스 시스템즈가 초고속 AI 추론 서비스인 '세레브라스 인퍼런스'를 공개했다. Llama 3.1 8B 모델 기준 초당 1800토큰을 출력해 기존 GPU 클라우드 대비 20배 빠르며 16비트 정밀도를 온전히 유지한다. 가격은 8B 기준 100만 토큰당 10센트부터 시작해 다단계 AI 에이전트의 실시간 반응성을 획기적으로 개선한다.