사카나 AI·엔비디아 협력: 무용 계산 건너뛰어 LLM 추론 30% 가속

사람의 뇌는 생각을 할 때 필요한 소수의 뉴런만 활성화하기 때문에 극도로 효율적입니다. 현대의 대규모 언어 모델(LLM) 역시 비슷하게 동작합니다. 피드포워드 신경망 계층에서 특정 단어를 처리할 때 95% 이상의 뉴런은 사실상 0의 값을 내며 잠들어 있습니다.

하지만 딥러닝 진영에는 오랜 역설이 하나 있었습니다. 계산량을 줄여서 덜 계산하게 만들면, 하드웨어에서는 오히려 실행 속도가 느려진다는 점입니다.

일본의 AI 연구소 사카나 AI(Sakana AI)와 엔비디아가 이 고질적인 병목을 해결한 협업 연구를 공개했습니다. 모델 크기를 강제로 줄이는 대신, 'TwELL'이라는 새로운 희소 포맷과 전용 CUDA 커널을 통해 GPU가 실제로 연산을 건너뛸 수 있도록 만들었습니다.

GPU를 멈칫거리게 만들던 비정형 연산

문제는 현대 GPU의 태생적 구조에 있었습니다.

GPU는 규칙적이고 빽빽한 고밀도 행렬 곱셈을 초고속으로 밀어붙이는 데 특화되어 있습니다. 여기에 불필요한 값을 건너뛰는 비정형 희소(unstructured sparsity) 연산을 넣으면 불규칙한 메모리 접근이 발생해, 연산 장치가 노는 시간이 늘어나며 오히려 전체 속도가 처지게 됩니다.

사카나 AI와 엔비디아는 GPU 보고 희소성에 적응하라고 강요하는 대신, 희소한 데이터 형태를 GPU 입맛에 맞게 블록 단위로 재구성하는 길을 택했습니다.

TwELL(Tile-wise ELLPACK)로 명명된 이 포맷은 활성화 데이터를 하드웨어 친화적인 타일 단위로 묶어냅니다. 99%에 달하는 극단적으로 희소한 토큰들은 전용 융합 커널을 통해 고속 차선으로 직행해 불필요한 연산을 건너뛰고, 아주 드물게 밀도가 높은 토큰은 안전 밸브 역할을 하는 고밀도 행렬로 우회 처리합니다.

H100에서 추론 30% 가속, 전력과 메모리 동시 절감

엔비디아 H100 환경에서 수십억 파라미터 규모 모델을 대상으로 벤치마크를 진행한 결과는 수치로 증명됐습니다.

추론 속도는 30% 이상 빨라졌고, 소모되는 전력 에너지 역시 30% 이상 줄어들었습니다.

추론뿐 아니라 훈련 단계에서도 성과가 뚜렷했습니다. 훈련 속도는 20% 이상 향상되었으며, 최고 메모리(peak memory) 점유율은 20% 이상 절감되었습니다. 가장 인상적인 부분은 이런 다이어트를 거치고도 다운스트림 작업에서의 성능 저하가 거의 없었다는 점입니다. 해당 논문은 ICML 2026에 채택되었으며, 모든 커널 코드와 데이터 포맷은 오픈소스로 공개되었습니다.

왜 중요한가

우리는 이번 성과가 거둔 가장 큰 의미가 '알고리즘의 아이디어를 하드웨어 친화적인 구현으로 완벽히 번역해냈다'는 점에 있다고 봅니다.

현재 LLM을 대규모로 서비스하는 기업들에게 가장 뼈아픈 지출은 GPU 인프라 비용과 데이터센터 전력 소비입니다. 이전까지는 비용을 덜기 위해 양자화로 지능을 깎아먹거나 모델 크기 자체를 줄이는 타협을 해야 했습니다. TwELL은 모델 본래의 파라미터 역량을 손대지 않고도 기존 H100에서 30%의 추가 효율을 뽑아낼 수 있음을 입증했습니다.

물론 한계와 검증 과제도 남아 있습니다. 이번 실증은 단일 노드 기반의 수십억 파라미터 체급에서 확인된 결과입니다. 수천억 단위 초거대 모델을 여러 노드로 쪼개어 서빙하는 복잡한 텐서 병렬 환경에서도 토큰별 희소 연산의 통신 부하가 매끄럽게 통제될지는 추가적인 현장 검증이 필요합니다.

그럼에도 엔비디아가 직접 자사 칩에 맞춘 커널 융합을 주도하며 희소 연산의 실용성을 끌어올렸다는 점은 분명한 이정표입니다. 차세대 칩을 무작정 기다리는 것보다, 안 해도 될 계산을 똑똑하게 덜어내는 소프트웨어 기술이 비용 절감의 핵심 열쇠가 될 수 있습니다.