Taalas HC1 공개: Llama 모델 하드웨어 직접 각인으로 초당 17,000 토큰 달성
Taalas가 Llama 3.1 8B 모델을 하드웨어에 직접 각인한 AI 가속 칩 HC1을 발표했다. 연산과 메모리를 통합해 엔비디아 B200 대비 40배 빠른 초당 17,000 토큰 출력을 내며 전력 소모도 10분의 1로 줄였다. 다만 특정 모델 전용이라 다른 모델을 교체해 쓸 수는 없다.
Taalas가 Llama 3.1 8B 모델을 하드웨어에 직접 각인한 AI 가속 칩 HC1을 발표했다. 연산과 메모리를 통합해 엔비디아 B200 대비 40배 빠른 초당 17,000 토큰 출력을 내며 전력 소모도 10분의 1로 줄였다. 다만 특정 모델 전용이라 다른 모델을 교체해 쓸 수는 없다.