엔비디아, Groq 3 LPU 공개: 멀티에이전트 겨냥해 초당 1500토큰 구현

엔비디아가 산호세에서 열린 GTC 2026에서 차세대 추론 전용 칩인 'Groq 3 LPU'를 공개했습니다.

엔비디아는 지난 12월 스타트업 Groq과 200억 달러 규모의 기술 라이선스 계약을 맺고 창업자 조나단 로스를 영입했습니다. 그로부터 단 3개월 만에 결과물을 내놓은 셈입니다.

이번 행사에서 차세대 GPU 루빈이 큰 주목을 받았지만, 현장에서는 Groq 3가 몰고 올 파장에 더 주목하는 분위기입니다.

에이전트 간 초고속 통신에 특화된 설계

학습과 추론을 모두 처리하는 범용 GPU와 달리, Groq 3는 철저하게 AI 추론에만 집중하는 프로세서입니다.

엔비디아의 이안 벅 부사장은 GPU가 더 큰 메모리를 제공하지만, Groq 3의 메모리는 비교할 수 없을 정도로 빠르다고 설명했습니다.

함께 공개된 'Groq 3 LPX' 랙 서버는 256개의 Groq 3 LPU를 탑재했으며, 128GB 초고속 SRAM 메모리와 초당 40PB의 메모리 대역폭을 갖췄습니다.

핵심 타깃은 다중 에이전트 환경입니다. 인간에게는 초당 100토큰도 충분히 빠르지만, 소프트웨어 에이전트끼리 실시간으로 대화하기에는 턱없이 느립니다.

Groq 3는 에이전트 간 통신 속도를 초당 최대 1,500토큰까지 끌어올리는 것을 목표로 설계되었습니다.

루빈 GPU와 한 쌍으로 묶는 엔비디아의 전략

엔비디아는 Groq 3를 독립형 칩이라기보다는 신형 Vera Rubin NVL72 랙의 코프로세서로 배치했습니다.

루빈 GPU와 베라 CPU가 탑재된 NVL72 랙과 Groq 3 LPX가 결합해, 모든 모델 레이어의 토큰 생성을 함께 가속하는 구조입니다.

이를 통해 조 단위 매개변수와 100만 토큰 이상의 컨텍스트를 소화할 수 있습니다. 엔비디아는 메가와트당 처리량이 35배 높아지고 수익 창출 기회는 10배 증가한다고 밝혔습니다.

엔비디아는 이날 베라 CPU 전용 랙, Bluefield-4 STX 스토리지 랙, Spectrum-6 SPX 네트워킹 랙을 포함해 총 5종의 대형 랙 시스템을 발표했습니다.

2026 회계연도 엔비디아의 데이터센터 매출은 전년도 1,162억 달러에서 1,935억 달러로 급증했습니다. 올해 6,500억 달러를 쏟아부을 클라우드 빅테크의 지갑을 완전히 장악하겠다는 의도입니다.

왜 중요한가

AI 에이전트 서비스를 만드는 개발사에게 추론 지연 시간은 가장 치명적인 문제였습니다. 여러 에이전트가 도구를 호출하고 상호작용하는 과정에서 초당 1,500토큰 속도가 나와준다면, 에이전트 워크플로의 실시간 상용화가 훨씬 앞당겨질 수 있습니다.

우리는 엔비디아가 잠재적 위협을 가장 영리하게 흡수했다고 평가합니다. 엔비디아의 독점을 위협하던 유망 추론 아키텍처를 사들여 루빈 GPU의 성능을 극대화하는 보조 장치로 재포장했기 때문입니다.

대용량 메모리는 루빈 GPU에 맡기고, 초저지연 토큰 생성은 Groq 3의 SRAM 대역폭으로 처리하는 구조는 기술적으로 매우 설득력이 있습니다.

다만 랙당 SRAM 용량이 128GB에 불과해 단독 활용이 어렵고, 반드시 고가의 루빈 랙과 함께 패키지로 구매해야 한다는 점은 진입 장벽입니다. 천문학적인 초기 인프라 비용을 감당할 수 있는 최상위 하이퍼스케일러 외에 일반 엔터프라이즈까지 이 구성을 도입할 수 있을지는 지켜볼 대목입니다.