세레브라스, 세계 최고속 AI 추론 출시…Llama 3.1 초당 1800토큰 기록

화면에 한 글자씩 타이핑되듯 출력되는 거대언어모델(LLM)의 생성 속도를 지켜보는 일은 이제 익숙한 풍경입니다. 그런데 이 속도를 수십 배 단위로 끌어올린 인프라가 등장했습니다.

AI 가속기 칩 스타트업 세레브라스 시스템즈(Cerebras Systems)가 세계에서 가장 빠른 AI 추론 서비스인 '세레브라스 인퍼런스(Cerebras Inference)'를 공식 출시했습니다. 메타의 최신 오픈소스 모델인 라마 3.1(Llama 3.1)을 호스팅하며, 8B 모델은 초당 1,800 토큰, 70B 모델은 초당 450 토큰의 생성 속도를 제공합니다.

AI 벤치마크 기관인 아티피셜 아날리시스(Artificial Analysis)의 독립 테스트에서도 8B 모델은 초당 1,800 토큰 이상, 70B 모델은 초당 446 토큰 이상을 기록했습니다. 이는 주요 하이퍼스케일 클라우드에서 엔비디아 GPU 기반으로 구동되는 서비스 대비 약 20배 빠른 수치입니다.

가격 파괴도 함께 내세웠습니다. 100만 토큰당 가격은 라마 3.1 8B가 10센트, 70B가 60센트입니다. 세레브라스는 엔비디아 GPU 기반 솔루션과 비교했을 때 가격 대비 성능이 최대 100배 뛰어나다고 강조했습니다.

실리콘 웨이퍼 한 장을 통째로 쓴 '괴물 칩'의 위력

이러한 처리 속도가 가능한 비결은 칩의 물리적 설계 방식에 있습니다.

기존 GPU 시스템에서 추론 속도가 느려지는 주된 이유는 연산 코어의 한계보다는 메모리에서 데이터를 칩으로 퍼 나르는 속도가 따라가지 못하는 '메모리 대역폭 병목 현상' 때문이었습니다.

세레브라스는 3세대 시스템 CS-3에 탑재된 웨이퍼 스케일 엔진 3(WSE-3)으로 이 문제를 풀었습니다. 12인치 원형 웨이퍼를 수백 개 칩으로 자르는 대신, 웨이퍼 전체를 단 하나의 거대한 칩으로 만들었습니다. 이를 통해 엔비디아 H100보다 7,000배 넓은 메모리 대역폭을 확보했습니다.

속도를 내기 위해 모델의 파라미터를 강제로 줄이는 양자화 기법 대신, 전체 파이프라인에서 기본 16비트 정밀도를 그대로 유지했습니다. 아티피셜 아날리시스 역시 메타의 공식 16비트 품질과 일치한다는 평가 결과를 내놓았습니다.

개발자 접근성도 챙겼습니다. 오픈AI의 챗 컴플리션(Chat Completions) API 규격과 완전히 호환되어 몇 줄의 코드 수정만으로 전환이 가능합니다. 무료 티어와 서버리스 방식의 개발자 티어, 프라이빗 클라우드 및 온프레미스를 지원하는 엔터프라이즈 티어로 나뉘어 서비스됩니다.

앤드루 응 교수는 AI 에이전트 워크플로처럼 LLM을 반복 호출해야 하는 작업에 매우 유용할 것이라고 평가했으며, 퍼플렉시티(Perplexity), 라이브킷(LiveKit), 도커(Docker) 등 주요 기술 기업들도 파트너십을 체결했습니다.

왜 중요한가

초당 1,800 토큰이라는 속도는 단순히 챗봇 텍스트가 순식간에 뜨는 차원을 넘어, 소프트웨어의 동작 방식을 뒤바꿀 잠재력을 지닙니다.

우리는 이 서비스가 복잡한 AI 에이전트(Agent)의 실용화를 앞당기는 계기가 될 것이라고 봅니다. 내부적으로 수십 번의 추론과 검증을 반복해야 하는 다중 에이전트 시스템은 기존 GPU 환경에서 1~2분씩 걸려 사용성이 떨어졌지만, 이 시스템에서는 단 몇 초 만에 처리될 수 있습니다. 음성이나 비디오 기반의 실시간 양방향 서비스에서도 지연 시간이 사실상 체감되지 않는 수준으로 줄어듭니다.

오픈AI API 규격을 그대로 지원하고 100만 토큰당 10센트 수준의 저렴한 요금을 책정한 만큼, 에이전트나 실시간 서비스를 구축 중인 개발자라면 지금 즉시 테스트해 볼 가치가 충분합니다.

다만 웨이퍼 스케일 칩 특유의 제조 난도와 막대한 비용을 고려할 때, 트래픽이 폭증하는 상황에서도 대규모 클러스터 안정성과 지연 시간 유지를 장기적으로 증명할 수 있을지는 지켜볼 대목입니다.

그럼에도 이번 출시는 대단히 영리한 포지셔닝입니다. 현재 전체 AI 하드웨어 시장의 약 40%를 차지하며 학습보다 더 가파르게 성장하는 추론 시장을 정조준했기 때문입니다. 엔비디아가 장악한 모델 훈련 대신 GPU의 가장 취약한 지점인 추론 메모리 대역폭을 파고들면서, 대안 칩 진영의 실질적인 돌파구를 만들어냈습니다.