OpenAI, 브라우저 직접 조작하는 AI 에이전트 '오퍼레이터' 공개

비행기 표 예매나 장보기처럼 번거로운 웹 작업을 AI가 직접 브라우저를 열고 클릭하며 대신 처리해 주는 기술이 본격화되었습니다.

OpenAI는 사용자를 대신해 웹 브라우저를 직접 조작하는 자율형 에이전트 오퍼레이터(Operator)의 연구 프리뷰를 공개했습니다. 현재 미국의 프로(Pro) 요금제 가입자를 대상으로 전용 웹사이트를 통해 우선 제공됩니다.

화면을 보고 마우스와 키보드로 조작하는 CUA 모델

오퍼레이터의 기반에는 CUA(Computer-Using Agent)라는 새로운 모델이 자리 잡고 있습니다. GPT-4o의 시각 인식 능력에 강화학습 기반의 추론을 결합하여, 화면 속 버튼과 텍스트 필드, 메뉴 등 그래픽 사용자 인터페이스(GUI)를 사람처럼 파악하도록 훈련되었습니다.

웹사이트 전용 API가 없어도 스크린샷으로 화면을 확인하고 마우스 클릭, 스크롤, 타이핑을 실행합니다. 작업 중 오류가 발생하면 스스로 추론해 바로잡고, 해결하기 어려운 문제에 부딪히면 즉시 사용자에게 제어권을 넘깁니다. 웹 탐색 벤치마크인 WebArena와 WebVoyager에서 최고 수준의 성능을 기록했습니다.

사용 편의성도 갖췄습니다. 대화창을 여러 개 열어 한쪽에서는 선물 주문을, 다른 쪽에서는 캠핑장 예약을 동시에 시킬 수 있습니다. 항공사 선호도 같은 사이트별 세부 설정을 저장하거나 자주 쓰는 반복 구매 명령어를 북마크해 둘 수도 있습니다.

보안과 결제 단계에서는 사람이 직접 개입

보안 대책 역시 다각도로 마련되었습니다. 로그인 정보나 카드 번호 입력, 캡차(CAPTCHA) 인증이 필요한 순간에는 작업 인계 모드로 전환되어 사용자가 직접 입력해야 하며, 이때 오퍼레이터는 화면 캡처를 일시 중단합니다.

최종 주문 승인이나 이메일 전송처럼 중요한 작업 직전에는 반드시 사용자의 확인을 거치도록 설계되었습니다. 금융 거래나 채용 심사 같은 고위험 작업은 수행을 거부하며, 숨겨진 악성 명령어를 탐지하는 전용 모니터링 모델도 탑재되었습니다.

다만 슬라이드 제작이나 캘린더 관리처럼 복잡한 인터페이스에서는 여전히 오류가 발생할 수 있습니다. OpenAI는 향후 CUA 모델을 개발자용 API로 개방하고, 플러스(Plus)와 팀(Team) 요금제 등 ChatGPT 서비스 전반으로 기능을 확대할 계획입니다.

왜 중요한가

우리는 오퍼레이터가 텍스트 조언만 건네던 AI에서 실제 행동을 대신하는 대리인으로 넘어가는 중요한 분기점이라고 봅니다. 웹사이트들이 별도의 API를 구축해 주지 않아도 기존 화면을 그대로 인식해 움직이기 때문에, 상용화 속도 면에서 매우 영리한 접근 방식입니다.

사용자 관점에서는 반복적인 양식 입력이나 장보기 등 번거로운 작업을 자동화할 수 있다는 명확한 효용이 있습니다. 하지만 현재는 미국 내 고가 요금제 사용자만 쓸 수 있고 복잡한 웹 앱에서는 여전히 오작동 위험이 있어, 지금 당장 모든 일상을 맡기기에는 이릅니다.

산업 전반에는 에이전트 경쟁의 기준선을 완전히 끌어올리는 신호탄입니다. AI가 인간을 대신해 쇼핑몰을 탐색하고 구매 결정을 돕는 구조가 굳어지면, 검색 포털과 웹 광고 중심의 비즈니스 생태계가 크게 흔들릴 수 있습니다.

다만 화면 렌더링에 의존하는 방식 특성상 웹 디자인이 조금만 바뀌어도 동작이 꼬일 수 있다는 태생적 한계가 있습니다. 금융 거래나 최종 결제 단계에서 사람의 손을 빌리도록 한 것은 안전을 위한 필수적인 타협이지만, 동시에 완전 자율 에이전트로 가기까지 아직 넘어야 할 산이 많다는 점을 보여줍니다.