NVIDIA 헬릭스 병렬화 공개: 수백만 토큰 실시간 추론 동시 사용자 32배 확대
NVIDIA가 블랙웰 아키텍처에 맞춘 '헬릭스 병렬화(Helix Parallelism)' 기법을 발표했습니다. 어텐션과 FFN 단계의 병렬 전략을 분리해 메모리 대역폭 병목을 해소함으로써, 동일한 지연 시간 기준 동시 처리 사용자 수를 최대 32배까지 늘려줍니다.
NVIDIA가 블랙웰 아키텍처에 맞춘 '헬릭스 병렬화(Helix Parallelism)' 기법을 발표했습니다. 어텐션과 FFN 단계의 병렬 전략을 분리해 메모리 대역폭 병목을 해소함으로써, 동일한 지연 시간 기준 동시 처리 사용자 수를 최대 32배까지 늘려줍니다.