AI 추론 칩 스타트업 그록, 데피니티브 인텔리전스 인수

압도적인 추론 속도로 개발자들의 시선을 사로잡은 AI 칩 스타트업 그록이 클라우드 생태계 확장에 본격적으로 나섰습니다.

AI 추론 칩 제조사인 그록은 데이터 분석 스타트업 데피니티브 인텔리전스를 인수했다고 발표했습니다. 구체적인 인수 금액은 공개되지 않았습니다. 이번 인수를 통해 그록은 자체 LPU 칩에 온디맨드로 접근할 수 있는 클라우드 플랫폼 '그록클라우드' 역량을 크게 끌어올릴 계획입니다.

속도 기록 세운 칩, 이제 클라우드 API로 푼다

그록은 구글에서 머신러닝 프로세서 TPU를 개발했던 조나단 로스 CEO가 2016년에 설립한 회사입니다. 타이거 글로벌과 D1 캐피털 등이 주도한 시리즈 C 라운드를 포함해 지금까지 3억 6천만 달러 이상의 투자를 유치했습니다.

그록의 주력 제품은 대형언어모델 추론에 특화된 LPU 엔진입니다. 지난 11월 벤치마크 테스트에서 메타의 라마 2 70B 모델을 실행하며 추론 속도 기록을 세웠고, 경쟁 제품 대비 최대 10배 빠른 추론 속도를 낼 수 있다고 밝히고 있습니다.

LPU는 각각 약 230MB 메모리를 탑재한 TSP라는 코어로 구성됩니다. 온칩 네트워크로 연결된 이 코어들은 데이터가 이동하는 데 걸리는 시간 정보를 공유해 모델이 가장 빠른 경로를 선택해 연산을 처리하도록 돕습니다.

그록은 이 특수 하드웨어를 쉽게 활용할 수 있도록 최근 그록클라우드를 선보였습니다. 개발자들은 플랫폼 내 학습 리소스를 통해 칩 구조를 익히고 최적화된 애플리케이션을 개발할 수 있습니다.

클라우드 구축 도왔던 파트너를 통째로 인수

피인수 기업인 데피니티브 인텔리전스는 캘리포니아 팔로알토에 본사를 둔 데이터 분석 기업으로, 이전에 1천만 달러 이상의 투자를 유치한 바 있습니다. 자연어로 데이터를 조회하고 시각화할 수 있는 AI 애플리케이션을 개발해 왔습니다.

흥미로운 점은 데피니티브 인텔리전스가 이번 인수 전부터 이미 그록클라우드 구축 작업을 돕고 있었다는 사실입니다. 그록 입장에서는 이미 손발을 맞춰본 핵심 소프트웨어 개발 인력을 그대로 흡수한 셈입니다.

인수 이후 데피니티브 인텔리전스의 공동 창업자이자 CEO인 서니 마드라는 그록에 합류해 그록클라우드 사업부를 이끌게 됩니다. 초기 목표는 플랫폼 용량을 늘리고 이용자 풀을 확장하는 것입니다.

이와 함께 그록은 정부 기관 등 엔터프라이즈 고객의 LPU 인프라 배포를 전담 지원하는 두 번째 사업 부문인 '그록 시스템즈'도 공식 출범시켰습니다.

왜 중요한가

실시간 음성 인터랙션이나 연쇄 호출을 수행하는 AI 에이전트를 개발하는 이들에게 추론 속도는 제품의 성패를 가르는 요소입니다. 그록클라우드가 확장되면 일반 개발자도 복잡한 하드웨어 구매 없이 API 호출만으로 고속 추론 환경을 즉시 테스트해볼 수 있습니다.

AI 반도체 시장 전체로 보면 엔비디아의 독점을 깨기 위해 넘어야 할 진짜 벽은 칩 성능 자체가 아니라 개발자 접근성과 클라우드 생태계입니다. 하드웨어 엔지니어링에 강한 칩 스타트업이 겪기 쉬운 소프트웨어 플랫폼 부재 문제를 검증된 외부 팀 인수로 단숨에 메운 선택은 영리해 보입니다.

다만 숙제도 분명합니다. LPU는 단일 코어당 내장 메모리가 약 230MB 수준에 불과해 대규모 모델을 구동하려면 수많은 칩을 엮어야 합니다. 클라우드 트래픽이 폭증할 때 인프라 확장 비용과 공급망을 감당하면서 채산성을 유지할 수 있을지가 장기적인 관건이 될 것입니다.