초당 247토큰 폭주…AI 칩 스타트업 Groq의 'LPU' 화제

최근 며칠간 소셜 미디어에 올라온 AI 시연 영상을 본 사람이라면 누구나 배속 재생을 의심했을 법합니다.

질문을 던지자마자 출처 표기까지 포함된 수백 자의 답변이 눈 깜짝할 사이에 화면을 가득 채웁니다. CNN 생방송에서는 앵커가 지구 반대편에 있는 AI 챗봇과 지연 시간 없이 자연스러운 음성 대화를 주고받기도 했습니다.

화제를 모은 주인공은 AI 칩 스타트업 Groq입니다. 일론 머스크가 만든 챗봇 Grok과 발음은 같지만, 완전히 다른 영역의 기술입니다.

추론에 모든 것을 건 LPU

Groq은 ChatGPT나 Gemini 같은 새로운 챗봇을 만드는 회사가 아닙니다. 이 모델들이 작동하는 밑단에서 처리 속도를 극한으로 끌어올리는 인공지능 추론 엔진이자 하드웨어 제조사입니다.

Groq은 업계 표준으로 자리 잡은 엔비디아의 GPU 대신 LPU(Language Processing Unit)라는 독자 칩을 선보였습니다. 창업자이자 CEO인 조너선 로스는 과거 구글의 AI 칩 부서를 공동 설립했던 인물입니다. 그는 기존 GPU와 CPU가 대규모 언어 모델을 구동할 때 겪는 고질적인 문제인 연산 밀도와 메모리 대역폭 병목 현상을 LPU로 해결했다고 설명합니다.

독립 벤치마크 기관인 Artificial Analysis가 지난주 공개한 테스트 결과에 따르면, 마이크로소프트 인프라가 초당 18토큰을 처리하는 동안 Groq은 초당 247토큰을 뿜어냈습니다. 모델을 Groq 칩으로 옮겨 실행하기만 해도 처리 속도가 13배 이상 빨라진다는 뜻입니다.

이름에 얽힌 뒷이야기도 있습니다. 1961년 SF 소설 《낯선 땅의 이방인》에서 따온 단어로, 사물을 깊이 있게 직관적으로 이해한다는 의미입니다. 로스 CEO는 머스크가 xAI의 Grok을 공개한 지 사흘 만에 블로그 글을 올려, 자신이 2016년에 먼저 상표를 등록하고 회사를 세웠음을 유쾌하게 상기시키기도 했습니다.

왜 중요한가

지금의 AI 챗봇들이 실생활에서 겉도는 가장 큰 이유는 느린 반응 속도 때문입니다. 구글이 Gemini 시연 영상에서 실시간 대화처럼 보이도록 편집했다가 빈축을 사기도 했지만, Groq 수준의 처리 속도라면 그런 매끄러운 음성 소통이 실제로 가능해집니다.

개발자나 서비스 기획자 입장에서 이 정도 속도는 고객 응대 에이전트, 실시간 동시통역 등 지연 시간에 극도로 민감한 서비스를 구현할 수 있는 실마리가 됩니다. 현재 Groq 웹사이트에서 여러 오픈소스 모델이 얼마나 빠르게 돌아가는지 직접 테스트해 볼 수 있습니다.

다만 장기적인 확장성은 아직 지켜볼 필요가 있습니다. 특정 추론 작업에서 압도적인 속도를 내더라도, 엔비디아 GPU나 구글 TPU처럼 거대한 규모의 초거대 모델 클러스터에서도 안정적인 효율을 낼 수 있을지는 검증되지 않았습니다. 그럼에도 엔비디아가 독점하다시피 한 AI 칩 시장에서 추론 특화 설계로 이 정도의 성능 격차를 증명해 보였다는 점만으로도 업계에 던지는 충격파는 상당해 보입니다.