허깅페이스, 그록(Groq) 추론 제공업체로 추가…초고속 LPU 지원

Hugging Face에서 오픈소스 모델을 테스트할 때 답답했던 응답 속도가 크게 개선될 전망입니다.

Hugging Face는 초고속 추론 기술을 보유한 Groq을 공식 추론 제공자(Inference Providers)로 허브에 정식 통합했다고 발표했습니다. 이제 모델 상세 페이지뿐만 아니라 공식 클라이언트 SDK를 통해 Groq의 하드웨어를 바로 호출할 수 있습니다.

GPU 병목 잡는 LPU, SDK에서 코드 한 줄로 호출

Groq의 핵심 기술은 독자 개발한 언어 처리 장치(LPU)입니다. 순차적으로 토큰을 생성해야 하는 대규모 언어 모델의 특성에 맞춰 설계된 칩으로, 기존 GPU 기반 환경보다 지연 시간을 크게 줄이고 처리량을 대폭 끌어올린 것이 특징입니다.

이번 연동을 통해 Meta의 최신 오픈소스 모델인 Llama 4(Llama-4-Scout-17B-16E-Instruct 등)와 Qwen의 QWQ-32B 등 다양한 대화형 및 텍스트 모델을 Groq 환경에서 곧바로 구동할 수 있습니다.

개발자는 두 가지 방식으로 접근할 수 있습니다. 개인 Groq API 키를 등록해 직접 호출하거나, Hugging Face 토큰을 사용해 내부 라우팅 방식으로 호출하는 방법입니다. 후자를 선택하면 Groq 계정을 따로 파지 않고도 기존 HF 계정 하나로 결제와 사용을 끝낼 수 있습니다.

연동 코드도 매우 단순합니다. 출시 예정인 Python huggingface_hub v0.33.0(또는 소스 설치)이나 JavaScript SDK에서 provider="groq" 옵션만 추가하면 기존 코드를 그대로 활용할 수 있습니다.

요금은 HF 라우팅을 거치더라도 추가 수수료 없이 Groq의 표준 API 요금이 그대로 적용됩니다. 무료 로그인 사용자에게는 소량의 무료 할당량이 주어지며, Hugging Face PRO 구독자는 매월 제공되는 2달러 상당의 추론 크레딧을 Groq 호출에도 활용할 수 있습니다.

왜 중요한가

오픈소스 LLM의 성능이 아무리 좋아져도 실제 프로덕션 환경에 배포할 때 가장 큰 걸림돌은 결국 추론 지연 시간과 비용이었습니다.

실시간 응답이 필수적인 음성 AI 에이전트나 코드 자동 완성 기능을 만드는 개발자라면, 별도의 인프라 구축 없이 평소 쓰던 Hugging Face 환경에서 Groq의 초고속 속도를 즉시 테스트해볼 만한 가치가 충분합니다. 몇 줄의 코드 변경만으로 엔비디아 GPU 기반 추론과의 속도 차이를 체감할 수 있습니다.

산업적 관점에서 Hugging Face는 모델 저장소를 넘어 모든 AI 칩과 클라우드 추론을 연결하는 중앙 게이트웨이 위치를 확고히 다지고 있습니다. Groq 입장에서도 거대 클라우드와의 경쟁 속에서 수많은 개발자가 모여 있는 Hugging Face의 진입로를 확보함으로써, 자사 LPU 생태계를 대폭 확장하는 영리한 유통 전략을 취한 것으로 보입니다.