사카나 AI·엔비디아 협력: 무용 계산 건너뛰어 LLM 추론 30% 가속
사카나 AI와 엔비디아가 LLM 희소 연산 기술 'TwELL'을 발표했다. 전용 CUDA 커널을 통해 불필요한 계산을 건너뜀으로써, H100 GPU 환경에서 모델 성능 저하 없이 추론 속도와 에너지 효율을 30% 이상 높이고 훈련 메모리를 20% 줄였다. 모델 크기를 줄이지 않고도 배포 비용을 대폭 낮출 수 있는 방식으로, 모든 커널 코드가 오픈소스로 공개된다.
사카나 AI와 엔비디아가 LLM 희소 연산 기술 'TwELL'을 발표했다. 전용 CUDA 커널을 통해 불필요한 계산을 건너뜀으로써, H100 GPU 환경에서 모델 성능 저하 없이 추론 속도와 에너지 효율을 30% 이상 높이고 훈련 메모리를 20% 줄였다. 모델 크기를 줄이지 않고도 배포 비용을 대폭 낮출 수 있는 방식으로, 모든 커널 코드가 오픈소스로 공개된다.