오픈AI·브로드컴, 자체 개발 LLM 추론 칩 '할라페뇨' 공개

프론티어 모델 개발에서 가장 많은 비용이 들어가는 곳은 이제 학습이 아니라 매일 수없이 쏟아지는 추론 작업입니다.

OpenAI가 이 핵심 비용을 해결하기 위해 직접 나섰습니다. 현지시간 6월 24일, OpenAI는 브로드컴(Broadcom)과 공동 개발한 첫 LLM 추론 전용 가속기 칩 '할라페뇨(Jalapeño)'를 공개했습니다. 혹 탄(Hock Tan) 브로드컴 CEO가 직접 샘플 칩을 들고 가 샘 알트만과 그렉 브록만에게 전달했습니다.

자체 AI 투입해 9개월 만에 테이프아웃 완료

첨단 공정의 고성능 ASIC 칩을 설계부터 생산(테이프아웃)까지 완료하는 데는 보통 수년이 걸립니다. 하지만 Jalapeño 개발에는 단 9개월밖에 걸리지 않았습니다.

OpenAI는 고성능 첨단 반도체 역사상 가장 빠른 개발 주기라고 설명했습니다. 브로드컴의 실리콘 구현 역량과 셀레스티카(Celestica)의 보드 및 랙 시스템 통합에 더해, OpenAI 자체 AI 모델을 회로 설계와 최적화 과정에 투입한 덕분이었습니다.

현재 엔지니어링 샘플은 연구실에서 목표 클럭과 전력으로 정상 작동하고 있으며, 미공개 모델인 GPT-5.3-Codex-Spark 워크로드도 안정적으로 구동 중입니다. 초기 벤치마크 결과 와트당 성능이 기존 최고 사양 가속기들을 크게 앞서는 것으로 나타났으며, 구체적인 기술 리포트는 수개월 내에 공개될 예정입니다.

LLM 전용 설계로 메모리 병목 제거

Jalapeño는 범용 그래픽 연산이나 과거 머신러닝의 유산을 완전히 덜어내고, 오직 대규모 언어 모델 추론만을 위해 바닥부터 설계된 백지 상태 아키텍처를 취했습니다.

ChatGPT와 Codex, API를 운영하며 축적한 실제 서빙 패턴을 바탕으로, 연산과 메모리, 그리고 브로드컴의 토마호크(Tomahawk) 네트워킹 간의 균형을 최적화했습니다. 데이터 이동을 최소화해 하드웨어의 이론적 한계에 근접한 실제 가동률을 뽑아내는 구조입니다.

이번 칩은 다세대 협력 로드맵의 첫 단계로, 2026년 말부터 마이크로소프트 등 데이터센터 파트너들과 함께 기가와트(GW) 규모로 현장에 배치될 계획입니다.

왜 중요한가

OpenAI가 모델과 제품을 넘어 실리콘 하드웨어까지 아우르는 진정한 '풀스택 플랫폼'을 완성했다는 점에서 의미가 큽니다. 추론 효율이 개선되면 ChatGPT의 응답 속도가 빨라지는 것은 물론, 여러 단계의 추론을 거쳐야 하는 차세대 AI 에이전트 제품의 API 호출 비용을 대폭 낮출 수 있습니다.

산업 전반으로 보면 엔비디아 일변도였던 AI 가속기 시장의 지각변동을 가속합니다. 테크크런치(TechCrunch) 등 주요 외신이 짚었듯, 구글이나 애플처럼 단일 공급망 리스크를 분산하려는 빅테크의 독자 칩 개발 흐름에 OpenAI까지 합류한 것입니다. 학습 시장과 달리 장기적 물량이 훨씬 큰 추론 시장에서 엔비디아의 독점적 지배력은 시험대에 오르게 되었습니다.

자사 모델로 칩을 설계하고 그 칩으로 더 진보한 모델을 돌리는 선순환 플라이휠을 구체화한 점은 영리합니다. 다만 브로드컴, 셀레스티카, 마이크로소프트 등 여러 파트너와의 분업 체계 위에서 2026년 말까지 기가와트급 대규모 인프라를 차질 없이 구축해낼 수 있을지가 실질적인 성패를 가를 전망입니다.