OpenAI, GPT-5.6 Sol용 '울트라패스트' 모드 공개: 초당 750토큰으로 14배 가속

지금까지 대규모 언어 모델을 활용할 때 기업들은 늘 한 가지 타협을 해야 했습니다. 똑똑한 플래그십 모델을 쓰려면 텍스트가 느릿느릿 생성되는 것을 감수해야 했고, 실시간 응답이 필요하다면 체급을 낮춘 소형 모델을 선택해야 했습니다.

OpenAI는 이 한계를 깨기 위해 API 신규 티어인 'Ultrafast' 모드를 공개했습니다. 자사의 최고 성능 모델인 GPT-5.6 Sol을 표준 처리보다 최대 14배 빠른 속도로 구동하며, 초당 출력 토큰 수는 최대 750개에 달합니다.

초당 750토큰이 의미하는 압도적 속도

초당 750토큰이라는 수치는 현재 업계 기준과 비교하면 확연한 격차를 보여줍니다. 주요 Grok이나 Claude, 기존 GPT 플래그십의 표준 속도는 초당 60토큰 대에 머물러 있고, GLM 5.2가 약 111토큰 수준입니다. 고속 처리에 집중한 Gemini 3.7 Flash조차 초당 340토큰 수준인데, Ultrafast는 이를 두 배 이상 뛰어넘습니다.

TechCrunch의 보도처럼 Anthropic 역시 Claude의 패스트 모드를 운영하고 있지만, 이번에 공개된 속도와는 체급이 다릅니다. 실제 시연에서도 표준 모델이 서두 몇 줄을 작성하는 동안, Ultrafast는 화면 가득 분석 보고서 전체를 끝마치는 모습을 보였습니다.

이러한 성능 향상의 핵심은 AI 칩 제조사 Cerebras와의 인프라 파트너십입니다. 대규모 웨이퍼 스케일 엔진을 기반으로 메모리 대역폭 병목을 획기적으로 해결하면서, 최고 성능 모델의 매개변수를 깎아내지 않고도 초저지연 추론을 구현해 냈습니다.

어디에 투입되고 있나

속도가 14배 빨라지면 과거에는 배치 작업으로 돌려야 했던 무거운 작업들이 실시간 인터랙션으로 바뀝니다.

OpenAI에 따르면 Jane Street, Podium, Basis, Rogo 등이 초기 테스트 고객으로 참여하고 있습니다. 대표적인 사례가 시스템 장애 대응(Incident Response)입니다. 서비스 장애가 터진 긴박한 상황에서 수많은 로그와 최근 코드 커밋을 실시간으로 분석해 엔지니어가 대응 결정을 내리도록 돕습니다.

밀리초 단위로 상황이 변하는 금융 퀀트 연구 및 이상 거래 탐지, 지연 없는 음성 고객 지원, 결제 이탈을 막기 위한 전자상거래 추천 등도 핵심 사용처입니다. OpenAI 내부 연구팀 역시 밤새 돌려두고 퇴근하던 실험 배치를 업무 시간 내에 여러 차례 반복 수정하는 방식으로 개발 흐름을 단축했다고 밝혔습니다.

다만 일반 개발자가 당장 자유롭게 쓸 수 있는 것은 아닙니다. 현재는 전용 하드웨어 용량이 한정되어 있어 일부 기업 대상의 프라이빗 프리뷰로 제공되며, 추후 설비 확장에 맞춰 접근 권한을 넓혀갈 계획입니다.

왜 중요한가

우리는 Ultrafast가 AI 모델 경쟁의 패러다임을 '단순 벤치마크 점수'에서 '초당 유의미한 작업 처리량'으로 전환시키는 신호탄이라고 평가합니다.

기업과 개발자 관점에서 지능과 속도의 양자택일 문제가 해결된다는 점은 매우 중요합니다. 지금까지 실시간 자율 에이전트나 음성 인터페이스를 구축할 때 어쩔 수 없이 지능이 떨어지는 경량 모델을 써야 했지만, 플래그십 모델이 초당 750토큰으로 쏟아진다면 복잡한 추론을 수반하는 고난도 자동화 업무가 비로소 현실화됩니다.

업계 전반으로 보면 전통적인 GPU 추론 인프라에 던지는 충격파도 상당합니다. 일반적인 엔비디아 GPU 클러스터가 배치 처리 효율에 특화되어 있다면, Cerebras 같은 특수 웨이퍼 스케일 칩은 극단적인 단일 스트림 저지연 처리에서 독보적인 우위를 입증했습니다. OpenAI 입장에서는 특정 하드웨어 생태계에 묶이지 않고 공급선을 다변화하는 영리한 포석이기도 합니다.

물론 걸림돌도 분명합니다. 웨이퍼 스케일 반도체는 제조 공정이 까다롭고 구축 비용이 매우 비쌉니다. 만약 Ultrafast의 호출 단가가 지나치게 높거나 서버 용량 확장이 더디다면, 당분간 월스트리트 헤지펀드나 대기업 전유물로 머물 위험이 있습니다. 그럼에도 모델이 사람의 생각보다 빠르게 지식을 뱉어내는 단계에 접어들었다는 사실 자체가 엔터프라이즈 소프트웨어 환경을 근본적으로 흔들고 있습니다.