클라우드플레어, AI 에이전트 전용 브라우저 '카이트서프' 공개

AI 에이전트가 사람 대신 웹을 돌아다니며 데이터를 긁어오고 폼을 작성하는 일이 일상이 되고 있습니다. 하지만 지금까지 개발자들은 대부분 무거운 헤드리스 크로미움(Chromium)을 클라우드 컨테이너에 띄워 에이전트의 손발로 써왔습니다.

문제는 크로미움이 애초에 사람의 눈을 위해 만들어진 브라우저라는 점입니다. 매끄러운 60fps 스크롤이나 탭 관리, 확장 프로그램 기능 때문에 막대한 메모리와 연산 자원을 잡아먹는데, 텍스트나 스크린샷만 필요한 AI 모델에게는 과도한 낭비였습니다.

클라우드플레어(Cloudflare)가 8월 6일 내놓은 해법은 완전히 다릅니다. AI 에이전트를 위해 설계된 경량 브라우저 '카이트서프(Kitesurf)'를 선보였습니다. 무거운 서버 대신 자사 서버리스 플랫폼인 클라우드플레어 워커스(Workers)의 V8 격리 환경(Isolate)에서 직접 실행되며, 현재 'Browser Run' 제품을 통해 무료 베타로 써볼 수 있습니다.

사람을 위한 군더더기를 버리고 AI에 집중하다

카이트서프는 기획부터 첫 공개까지 12주밖에 걸리지 않았습니다. 크롬과 Node.js 없이 작동하는 오픈소스 러스트 엔진 '옵스큐라(Obscura)'에서 영감을 얻어, AI의 도움을 받아 워커스 환경으로 코드를 포팅한 것이 출발점이었습니다.

핵심 기술 스택은 전부 러스트와 웹어셈블리(Wasm)로 짜였습니다. 블리츠(Blitz) 렌더링 엔진, 파이어폭스의 CSS 파서인 스타일로(Stylo), 러스트 기반 자바스크립트 엔진인 보아(Boa JS)를 조합해 워커스 위에서 바로 돌아가도록 만들었습니다.

AI에게는 픽셀 단위로 완벽한 디자인이나 부드러운 화면 전환이 필요 없습니다. 대신 빠른 응답 속도, 낮은 토큰 비용, 그리고 폭발적인 동시성 처리가 훨씬 중요합니다. 클라우드플레어는 HTML 추출과 화면 캡처 같은 기본 작업에서 카이트서프가 크로미움보다 CPU와 메모리를 훨씬 적게 쓴다고 설명합니다.

웹 호환성도 꼼꼼히 챙겼습니다. 이미 21만 5천 개 이상의 웹 플랫폼 테스트(WPT)를 통과했으며, 위키피디아, 해커뉴스, 투두MVC는 물론 클라우드플레어 자체 대시보드 화면도 정상적으로 렌더링합니다.

코드 수정 없이 플레이라이트와 바로 연동

개발자 입장에서 가장 반가운 부분은 크롬 개발자 도구 프로토콜(CDP)을 기본 지원한다는 점입니다.

기존에 퍼피티어(Puppeteer)나 플레이라이트(Playwright)로 짜둔 크롤링 코드가 있다면, 접속 엔드포인트만 카이트서프로 바꿔주면 별도 수정 없이 곧바로 동작합니다. 또한 샌드박스 아웃바운드(SandboxOutbound)라는 전용 프록시 워커를 통해 외부 통신을 격리 통제하므로, 프롬프트 인젝션 같은 새로운 보안 위협에도 안전하게 대응할 수 있습니다.

세션 상태 저장소 외의 렌더링 컴포넌트가 전부 상태를 갖지 않는(Stateless) 구조여서, 수천 개의 요청이 한꺼번에 몰려와도 순식간에 인스턴스를 띄워 처리하고 흔적 없이 사라집니다.

왜 중요한가

AI 에이전트를 대규모로 운영하려는 팀에게 가장 큰 현실적 장벽은 모델 API 요금이 아니라 브라우저를 띄우는 인프라 비용이었습니다. 에이전트 수십 개가 동시에 웹을 뒤지려면 값비싼 컨테이너를 상시 유지해야 했기 때문입니다. 카이트서프는 브라우저를 가벼운 서버리스 단위로 쪼개면서 웹 자동화의 한계 비용을 크게 낮췄습니다.

업계 관점에서도 클라우드플레어의 전략은 매우 영리합니다. 거대언어모델(LLM) 자체를 개발하는 출혈 경쟁에 뛰어드는 대신, 모든 AI 에이전트가 인터넷에 접속할 때 거쳐야 하는 필수 런타임 통로를 선점하겠다는 계산입니다. 웹 탐색 엔진을 자사 네트워크에 묶어두면 트래픽과 보안 솔루션 매출도 자연스레 따라옵니다.

물론 아직 한계는 있습니다. 보아 같은 경량 JS 엔진이 최신 웹의 복잡한 싱글페이지 애플리케이션(SPA)이나 정교한 봇 탐지 스크립트를 완벽하게 소화하지 못할 가능성이 큽니다. 당장 복잡한 인터랙션이 얽힌 기업용 SaaS를 다뤄야 한다면 기존 크로미움이 여전히 필요하겠지만, 대량의 웹 데이터 수집이나 단순 반복 작업을 수행하는 에이전트를 만들고 있다면 지금 바로 테스트해 볼 가치는 충분합니다.