NVIDIA 헬릭스 병렬화 공개: 수백만 토큰 실시간 추론 동시 사용자 32배 확대

수개월 치의 대화 기록이나 방대한 법률 판례집, 대규모 코드베이스 전체를 AI 모델에 집어넣어 본 사람이라면 누구나 공감할 문제가 있습니다. 바로 답변이 나오는 속도가 지나치게 느려진다는 점입니다.

토큰을 하나씩 생성할 때마다 GPU는 DRAM에서 수백만 토큰 분량의 과거 기록(KV 캐시)을 계속 읽어와야 하고, 대용량 FFN(피드포워드 네트워크) 가중치도 함께 불러와야 합니다. 기존 텐서 병렬화(TP) 방식을 쓰면 Llama의 GQA나 DeepSeek의 MLA 구조상 여러 GPU가 동일한 KV 캐시를 중복 저장하게 되어 메모리 대역폭이 순식간에 한계에 달합니다.

NVIDIA는 7월 8일, 차세대 Blackwell 시스템에 맞춰 공동 설계한 새로운 추론 병렬화 기법인 Helix Parallelism(나선 병렬화)을 공개했습니다. 수백만 토큰의 초장문 문맥에서도 실시간 디코딩을 가능하게 만드는 기술입니다.

어텐션과 FFN을 시차 분리해 실행

DNA의 이중 나선 구조에서 이름을 딴 Helix는 트랜스포머 단일 레이어 안에서 어텐션 연산과 FFN 연산의 병렬화 방식을 완전히 분리합니다. 동일한 GPU 풀을 재사용하면서 각 연산의 병목에 최적화된 구성을 취하는 방식입니다.

어텐션 단계에서는 KV 병렬화(KVP)를 통해 수백만 토큰의 캐시를 시퀀스 차원으로 쪼개어 여러 GPU에 분산합니다. 이때 텐서 병렬화는 KV 헤드 수 이하로만 적용해 GPU 간 KV 캐시가 중복 복제되는 현상을 원천 차단합니다. 로컬 연산을 마친 뒤에는 단 한 번의 All-to-All 통신으로 부분 결과를 교환하는데, 이 비용은 배치 크기에만 비례할 뿐 문맥 길이가 수백만 토큰으로 늘어나도 증가하지 않습니다.

또한 미세 파이프라이닝 기법인 HOP-B를 적용해 한 요청의 통신 시간 동안 다음 요청의 어텐션을 계산함으로써 통신 지연을 계산 뒤로 숨겼습니다.

어텐션이 끝나면 동일한 GPU들이 즉시 텐서 병렬화나 전문가 병렬화(MoE 모델의 경우 TP x EP) 모드로 재배치되어 FFN을 연산합니다. GPU가 노는 시간을 없애고, 새로운 토큰이 들어올 때도 라운드로빈 방식으로 여러 GPU에 번갈아 저장해 메모리 쏠림을 방지했습니다.

동일 지연 시간에서 동시 접속자 32배

Blackwell의 NVLink 72 대역폭과 FP4 연산을 바탕으로 진행된 시뮬레이션에서 Helix는 놀라운 성과를 보였습니다. 100만 토큰 문맥의 DeepSeek-R1(671B) 디코딩을 테스트한 결과입니다.

일정한 지연 시간 기준 내에서 처리할 수 있는 동시 접속 사용자 수가 기존 병렬화 방식 대비 최대 32배 증가했습니다. 이는 GPU당 토큰 처리량이 32배 늘어났음을 의미합니다.

동시 접속이 적은 환경에서 순수 반응 속도를 측정했을 때도 토큰 간 지연 시간(TTL)을 최대 1.5배 단축시켰습니다.

왜 중요한가

우리는 Helix가 초장문 AI 에이전트의 상용화를 앞당길 핵심 열쇠라고 봅니다.

그동안 수백만 토큰을 읽을 수 있다는 모델은 많았지만, 실제 서비스로 배포하기에는 비용과 응답 지연이 너무 커서 상용화의 장벽이 높았습니다. 동일한 장비에서 동시 접속자를 32배나 더 받을 수 있다면, 사내 전체 코드베이스를 실시간으로 탐색하는 코파일럿이나 수천 쪽의 문서를 다루는 법률 비서의 서비스 단가가 현실적인 수준으로 떨어집니다.

동시에 이 기술은 NVIDIA가 하드웨어 생태계를 방어하는 강력한 무기입니다. Helix의 빈번한 All-to-All 통신과 동적 재구성은 Blackwell NVL72 수준의 초고대역폭 인터커넥트가 필수적입니다. 경쟁사들이 칩 단품의 연산 성능을 따라오더라도 랙 스케일의 통신 인프라를 갖추지 못하면 이런 초장문 병렬화 효율을 낼 수 없기 때문입니다.

다만 이번 결과는 수천 가지 구성을 테스트한 심층 아키텍처 시뮬레이션 수치이며 실제 대규모 클러스터의 프로덕션 환경 측정치는 아닙니다. 향후 TensorRT-LLM 등 실제 프레임워크에 탑재되었을 때 동적 재구성 오버헤드를 얼마나 억제하며 이 효율을 유지할지가 관건입니다.