ChatGPT 대규모 먹통 사태, 원인은 신규 원격 측정 서비스였다

수요일 오후 ChatGPT가 갑자기 먹통이 되어 당황하셨다면, 기기나 인터넷 문제가 아니었습니다.

OpenAI가 회사 역사상 가장 길었던 대규모 서비스 장애를 겪었습니다. ChatGPT는 물론이고 동영상 생성 AI인 소라(Sora), 개발자용 API 서비스까지 태평양 표준시 기준 오후 3시경부터 약 3시간 동안 전면 중단되었습니다.

처음에는 해킹 공격이나 신제품 출시로 트래픽이 몰린 것이 아니냐는 추측이 돌았지만, OpenAI가 목요일 늦게 발표한 장애 보고서에 따르면 원인은 뜻밖에도 내부 모니터링 시스템이었습니다.

모니터링 도구가 스스로를 마비시켰다

OpenAI에 따르면 이번 사고는 쿠버네티스(Kubernetes) 메트릭을 수집하기 위해 수요일 배포한 신규 텔레메트리(원격 모니터링) 서비스 때문에 발생했습니다.

텔레메트리 서비스는 인프라 전반에 걸쳐 넓은 영역에 작용합니다. 그런데 새로 적용한 설정 오류로 인해 의도치 않게 쿠버네티스 API에 대규모 고부하 작업이 몰렸습니다.

결국 쿠버네티스 API 서버가 과부하를 견디지 못하고 쓰러지면서 대형 클러스터 대부분의 컨트롤 플레인이 일제히 다운되었습니다.

연쇄 반응도 치명적이었습니다. 도메인 주소를 IP로 변환해 주는 DNS 처리 경로가 마비되었고, 평소 성능을 높여주던 DNS 캐싱 기능이 오히려 장애 상황의 확인을 늦추면서 문제의 심각성을 파악하기도 전에 배포가 계속 진행되는 악효과를 낳았습니다.

엔지니어들이 겪은 3시간의 락아웃

OpenAI는 일반 사용자들이 장애를 체감하기 몇 분 전에 이상 징후를 먼저 감지했다고 밝혔습니다. 하지만 정작 복구에는 손을 쓰기 어려웠습니다.

핵심 서버들이 완전히 과부하에 걸리면서 엔지니어들이 서버에 직접 접속하지 못하는 일종의 락아웃(Lock-out) 현상이 발생했기 때문입니다.

OpenAI는 테스트 과정에서 쿠버네티스 컨트롤 플레인에 미칠 영향을 걸러내지 못했다며, 여러 시스템이 동시에 예측 불가능한 방식으로 오작동한 연쇄 사고였다고 인정했습니다. 앞으로는 단계적 배포 모니터링을 강화하고, 어떤 상황에서도 엔지니어가 API 서버에 접속할 수 있는 비상 경로를 마련하겠다고 약속했습니다.

왜 중요한가

이번 3시간 먹통 사태는 OpenAI 단일 플랫폼에 비즈니스를 의존해 온 기업과 개발자들에게 확실한 경고 신호를 보냈습니다.

개발자 입장에서 이제 단일 AI API만 바라보는 것은 지나치게 위험한 선택이 되었습니다. OpenAI 서버가 다운되었을 때 자동으로 대체 모델로 트래픽을 넘겨주는 다중화 및 폴백(Fallback) 설계를 구축하는 것은 이제 선택이 아니라 필수입니다.

업계 전반으로 봐도, 첨단 AI 모델의 화려한 성능 이면에 인프라의 취약점이 자리 잡고 있음을 여실히 드러냈습니다. 외부 침입도 아닌 내부 모니터링 설정 실수 하나로 핵심 서비스 전체가 마비된 것은 인프라 규모가 감당하기 힘들 만큼 빠르게 팽창했음을 방증합니다.

OpenAI가 상세한 장애 보고서를 투명하게 공개한 점은 긍정적이지만, 소라(Sora)와 같이 막대한 연산 자원을 소모하는 서비스가 계속 늘어나는 상황에서 기본적인 인프라 안정성을 얼마나 빠르게 회복할 수 있을지가 앞으로의 신뢰를 결정할 것으로 보입니다.