구글, 화면 직접 제어하는 '제미나이 2.5 컴퓨터 유즈' 공개

AI가 코드를 작성하는 수준은 높아졌지만, API가 없는 구형 웹사이트에서 양식을 채우고 드롭다운을 조작하는 작업은 여전히 까다로운 영역이었습니다.

구글이 이 간극을 메우기 위해 Gemini 2.5 Computer Use 모델을 공개했습니다. Gemini 2.5 Pro의 시각적 이해와 추론 능력을 바탕으로 구축된 특화 모델로, 에이전트가 사람처럼 화면을 보며 클릭하고 타이핑하고 스크롤할 수 있도록 지원합니다.

현재 Google AI Studio와 Vertex AI의 Gemini API를 통해 퍼블릭 프리뷰로 제공되고 있습니다.

화면을 보고 직접 클릭하는 에이전트 루프

이 모델은 Gemini API의 computer_use 툴을 활용해 반복 루프 형태로 작동합니다.

구조는 직관적입니다. 사용자 요청, 현재 화면 캡처, 최근 작업 기록을 모델에 입력하면, 모델은 화면을 분석해 클릭이나 타이핑 같은 구체적인 UI 동작 함수를 호출합니다.

클라이언트 코드가 해당 동작을 수행한 뒤 새로운 화면 캡처와 URL을 다시 모델에 전달하면 다음 판단이 이뤄집니다. 작업이 끝나거나 안전 문제가 발생하기 전까지 이 사이클이 계속 이어집니다.

구매 결제처럼 민감한 작업은 최종 사용자에게 확인을 요청하도록 설계할 수 있습니다. 현재는 웹 브라우저 제어에 집중 최적화되어 있으며 모바일 환경에서도 유망한 성능을 보이지만, 데스크톱 OS 단위 제어는 아직 지원하지 않습니다.

속도와 안전 장치

컴퓨터 조작 에이전트의 약점은 느린 반응 속도였습니다. 구글과 Browserbase의 Online-Mind2Web 평가 등에 따르면, 이 모델은 웹 및 모바일 제어 벤치마크에서 경쟁 모델을 앞서는 성능을 기록하면서도 레이턴시를 크게 낮췄습니다.

구글 내부에서는 이미 프로덕션 환경에 투입되어 UI 테스트 자동화에 쓰이고 있습니다. Project Mariner, Firebase Testing Agent, 구글 검색의 AI Mode 일부 에이전트 기능에도 이 모델의 버전들이 적용되어 있습니다.

웹 환경에서 에이전트가 자유롭게 탐색할 경우 프롬프트 인젝션이나 피싱 사이트 노출 같은 위험이 따릅니다. 구글은 모델 자체 훈련 단계부터 안전 기능을 탑재했으며, 동작 실행 전 단계별로 안전성을 검사하는 별도의 추론 서비스도 제공합니다. 이를 통해 CAPTCHA 우회나 보안 손상 같은 고위험 동작을 사전에 차단할 수 있습니다.

왜 중요한가

AI 에이전트의 경쟁 무대가 텍스트 채팅창을 넘어 브라우저 화면 조작으로 본격 전환되고 있음을 보여줍니다.

개발자와 기업 입장에서는 별도의 API가 없는 서비스나 복잡한 웹 대시보드 작업을 자동화할 수 있어 실질적인 생산성 개선 효과가 큽니다. Playwright나 Browserbase를 연동해 반복적인 데이터 입력이나 UI 테스트 파이프라인을 구축하려는 팀에게는 지금 바로 테스트해 볼 가치가 충분합니다.

데스크톱 전체 제어로 무리하게 확장하지 않고 웹 브라우저에 집중한 점도 영리한 선택으로 보입니다. 대부분의 업무 데이터가 웹에 있고, OS 전체를 열어주는 것보다 브라우저 안에서 안전 통제를 유지하는 편이 훨씬 현실적이기 때문입니다.

다만 실제 웹 환경은 봇 차단, 변칙적인 팝업, 렌더링 지연 등 돌발 변수가 넘쳐납니다. 통제된 벤치마크를 벗어나 실제 까다로운 웹사이트에서도 사람의 개입 없이 안정적으로 루프를 완주할 수 있을지가 성패를 가를 것입니다.