오픈AI, ‘모델 정원 초과’ 오류 대폭 개선…과부하 시 자동 재시도

ChatGPT를 쓰다가 "Selected model is at capacity. Please try a different model"이라는 안내 창을 마주치고 작업을 멈춰야 했던 경험은 누구나 한 번쯤 있을 것입니다.

오픈AI 엔지니어 티보(Tibo)는 소셜 플랫폼을 통해 인프라 개선과 추가 컴퓨팅 자원 투입을 마쳤으며, 해당 오류 발생 빈도를 대폭 낮췄다고 밝혔습니다.

작업 차단 대신 백그라운드 자동 재시도

단순히 서버 자원만 늘린 것이 아니라 트래픽 처리 방식도 손봤습니다.

기존에는 사용량이 몰리면 요청이 즉시 차단되고 다른 모델을 쓰라는 오류가 떴지만, 이제는 용량 부족 상황이 발생해도 시스템이 백그라운드에서 자체적으로 재시도해 작업을 이어갑니다.

티보는 사용자들에게 실제 사용 중 여전히 이 메시지가 나타난다면 원인을 추적할 수 있도록 적극적으로 제보해 달라고 요청했습니다.

왜 중요한가

새로운 모델 공개는 아니지만, 실사용 환경에서 가장 피로감을 주던 문제를 덜어냈다는 점에서 의미가 큽니다. 긴 글을 쓰거나 코딩 작업을 하다가 요청이 튕겨 나가는 일은 작업 흐름을 끊는 주원인이었기 때문에, 자동 재시도만으로도 체감 안정성이 크게 올라갑니다.

오픈AI가 기본 기능의 안정성을 다지는 데 집중하고 있는 것으로 보입니다. 오류를 사용자에게 떠넘겨 다른 모델로 우회하게 만들기보다, 뒷단에서 묵묵히 처리해 주는 방식이 생산성 도구로서의 완성도를 높이는 길입니다.