오픈AI, 자체 AI 추론 칩 '할라페뇨' 벤치마크 공개…전력 효율 최대 1.9배 향상

대규모 AI 모델의 가장 큰 골칫거리인 연산 비용을 잡기 위해 OpenAI가 직접 반도체 칼을 빼들었습니다.

OpenAI는 8월 25일 Hot Chips 콘퍼런스에서 자체 개발한 첫 AI 추론용 칩 'Jalapeño'의 초기 벤치마크 결과를 공개했습니다. Broadcom과 협력하여 개발한 이 ASIC 칩은 SemiAnalysis의 InferenceX 공개 벤치마크 테스트에서 기존 상용 최고 수준 하드웨어와 맞붙었습니다.

Nvidia GB200 및 GB300 시스템과의 비교 테스트는 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 세 가지 오픈 모델을 대상으로 진행되었습니다. 결과에 따르면 Jalapeño는 피크 처리량 기준 와트당 연산량을 1.5배에서 1.9배 늘렸고, 엔드투엔드 지연 시간은 1.7배에서 3.6배 줄였습니다. 대화형 인터랙티브 작업에서는 성능이 최대 2.1배에서 4.1배까지 높게 나타났습니다.

AI가 직접 설계 돕고 병목을 깎아낸 구조

기존 시스템은 대량 처리를 위해 처리량을 높이면 응답 지연이 길어지고, 지연을 줄이면 장비 효율이 떨어지는 상충 관계에 시달렸습니다. Jalapeño는 프롬프트를 읽는 Prefill 단계와 토큰을 순차 생성하는 Decode 단계의 병목을 줄이기 위해 데이터 이동과 통신 지연을 최소화하도록 설계되었습니다.

특히 토큰 생성에 필요한 KV 캐시 등의 모델 상태를 로컬에 효율적으로 배치해 칩 간 대기 시간을 줄였습니다. 칩의 정격 전력은 700와트이지만 실제 테스트 환경에서의 지속 전력은 550와트 이하를 유지했습니다. 1조 파라미터 크기인 Kimi 모델에서도 지연 시간을 3.4배 단축했습니다.

개발 방식도 흥미롭습니다. OpenAI의 기존 모델들이 회로 최적화와 검증을 도우면서 설계부터 테이프아웃까지 9개월 만에 끝냈습니다. 이후 Codex와 GPT-Astra를 활용해 단 2개월 만에 3개 외부 오픈 모델용 커널을 작성했으며, 일부 연산 블록에서는 AI가 짠 코드가 인간 전문가의 코드보다 1.5배에서 1.8배 더 빨랐습니다.

OpenAI의 하드웨어 책임자인 Richard Ho는 올해 말 소규모로 인프라에 도입한 뒤 2027년에 본격적으로 물량을 늘릴 계획이라고 밝혔습니다. 현재 2세대 칩도 개발 중이지만, Nvidia 등 기존 파트너 칩을 완전히 대체하려는 것은 아니라고 덧붙였습니다.

왜 중요한가

우리는 Jalapeño의 가장 직접적인 가치가 차세대 자율형 AI 에이전트의 구동 비용을 낮추는 데 있다고 봅니다. 여러 단계를 연달아 수행해야 하는 에이전트 환경에서는 지연 시간이 누적되기 때문에, 전력 효율을 유지하면서 응답 속도를 끌어올리는 기술이 필수적입니다.

산업 측면에서는 OpenAI가 모델부터 소프트웨어, 칩과 데이터센터 시스템까지 완벽한 수직 계열화 궤도에 올랐음을 보여줍니다. 2027년 대량 보급 시점에는 경쟁사의 차세대 칩도 나오겠지만, 자체 칩을 보유하는 것만으로도 공급망 리스크를 줄이고 외부 칩 제조사에 대한 협상력을 대폭 끌어올릴 수 있습니다.

훈련용 칩이라는 무리수를 두는 대신, 매일 막대한 운영비가 발생하는 추론 단계에 먼저 집중한 점은 매우 영리한 선택으로 보입니다. 'AI가 반도체를 설계하고, 그 반도체로 다시 AI를 돌리는' 피드백 루프가 실제 하드웨어로 입증되기 시작했습니다.