클라우드플레어, 엣지 AI 도구 출시: 사용한 만큼만 내는 GPU 추론 지원

지금 AI 기능을 앱에 도입하려는 개발자는 골치 아픈 장벽을 마주합니다. 대형 클라우드에서 비싼 GPU 가상머신을 빌리고, 별도의 벡터 데이터베이스를 구독한 뒤, 비용 폭탄을 막기 위해 모니터링 도구까지 따로 붙여야 하기 때문입니다.

글로벌 엣지 네트워크 기업 Cloudflare가 이 복잡한 과정을 한 번에 해결하겠다며 나섰습니다. 9월 27일, Cloudflare는 AI 모델 배포와 실행을 돕는 Workers AI, Vectorize, AI Gateway 등 3종의 제품군을 공개했습니다.

사용자 코앞에서 돌아가는 서버리스 GPU

핵심 제품인 Workers AI는 사용자와 물리적으로 가까운 위치에 있는 파트너 GPU를 종량제로 쓸 수 있게 해주는 서버리스 추론 서비스입니다. 값비싼 인스턴스를 계속 켜둘 필요 없이, 모델이 실행될 때만 비용을 내면 됩니다.

마이크로소프트가 지원하는 오픈 포맷 ONNX를 활용해 대역폭과 지연 시간, 지역 규제에 맞춰 최적의 위치에서 모델을 구동합니다. 메타의 Llama 2 같은 거대언어모델(LLM)은 물론 음성 인식, 이미지 분류, 감정 분석 모델을 카탈로그에서 바로 골라 쓸 수 있습니다. 사용자가 입력한 프롬프트는 후속 모델 학습에 쓰이지 않으며, 데이터는 원래 저장된 서버 리전에 유지됩니다.

파트너십도 탄탄합니다. 허깅페이스(Hugging Face)는 모델을 Workers AI에 최적화하기로 했으며, Cloudflare는 허깅페이스의 첫 서버리스 GPU 배포 파트너가 됐습니다. 데이터브릭스(Databricks) 역시 오픈소스 머신러닝 플랫폼 MLflow를 통해 Workers AI와 연동을 추진합니다.

함께 공개된 Vectorize는 텍스트 임베딩 데이터를 저장하는 엣지 벡터 데이터베이스로, 네트워크 지연 시간을 크게 줄여줍니다. AI Gateway는 AI 트래픽 모니터링 도구로, 모델 호출 횟수와 지연 시간, 비용을 추적하는 동시에 자주 묻는 질문에 대한 LLM 응답을 캐싱해 불필요한 API 호출 비용을 줄여줍니다.

왜 중요한가

우리는 Cloudflare의 이번 행보가 AI 엔지니어링의 가장 큰 골칫거리인 복잡성과 비용 문제를 영리하게 공략했다고 봅니다.

개발자 입장에서 얻는 실질적인 이득은 압도적인 비용 절감과 편의성입니다. 이전에는 유휴 상태의 GPU 인스턴스 비용을 고스란히 감당해야 했지만, 이제는 호출 단위로 과금되는 서버리스 환경과 응답 캐싱을 활용해 초기 운영 비용을 크게 낮출 수 있습니다. 데이터가 국경을 넘지 않고 로컬에 머무르기 때문에 글로벌 데이터 규제 대응도 훨씬 수월해집니다.

산업 측면에서는 AWS, MS 애저, 구글 클라우드가 장악해 온 중앙집중형 클라우드에 균열을 내는 움직임입니다. 거대 모델을 학습시키는 데는 초대형 데이터센터가 필요하지만, 사용자가 실제로 질문을 던지고 답변을 받는 추론 단계는 사용자 근처의 엣지에서 처리하는 것이 훨씬 빠르고 유리합니다. Cloudflare는 전 세계에 깔린 인프라를 바탕으로 이 추론 시장의 길목을 선점하려 합니다.

물론 CEO 매튜 프린스(Matthew Prince)의 주장과 달리 캐싱이나 속도 제한 기능은 오픈소스나 경쟁사 도구로도 일부 구현이 가능합니다. 초거대 워크로드를 처리할 때 엣지 GPU의 성능이 중앙 클라우드만큼 안정적일지도 지켜봐야 합니다. 하지만 흩어져 있던 AI 도구를 하나의 직관적인 파이프라인으로 묶어낸 만큼, 복잡한 인프라 관리에 지친 팀이라면 지금 당장 검토해 볼 만한 카드입니다.