구글, 제미나이 3.5 플래시에 컴퓨터 조작 기능 기본 탑재

AI에게 컴퓨터 화면을 직접 조작하게 하려면 그동안 비싸고 반응이 느린 전용 모델을 따로 불러와야 했습니다.

구글이 이 방식을 바꿨습니다. 구글은 6월 24일 주력 경량 모델인 Gemini 3.5 Flash에 컴퓨터 조작(computer use) 기능을 기본 탑재 도구로 통합했다고 발표했습니다.

전용 모델 대신 주력 모델의 기본 기능으로

이 기능은 원래 Gemini 2.5 기반의 독립형 전용 모델로만 제공되던 기능이었습니다.

이번 업데이트로 3.5 Flash에 완전히 내장되면서, 기존의 구글 검색이나 지도 기반 그라운딩 도구처럼 자연스럽게 활용할 수 있게 됐습니다. 개발자는 단일 모델 안에서 브라우저, 모바일, 데스크톱 환경을 보고 추론하며 직접 클릭하고 입력하는 에이전트를 만들 수 있습니다.

구글은 지속적인 소프트웨어 자동화 테스트나 여러 업무용 소프트웨어를 넘나드는 장기적인 지식 업무 자동화를 핵심 활용 분야로 꼽았습니다.

이 기능은 현재 Gemini API와 Gemini Enterprise Agent Platform을 통해 바로 사용할 수 있으며, Browserbase가 제공하는 데모 환경에서도 테스트가 가능합니다.

프롬프트 주입 공격을 막는 안전장치

실시간 화면을 돌아다니며 작업을 수행하는 에이전트는 웹페이지나 문서에 숨겨진 악의적 명령, 즉 프롬프트 주입 공격에 취약할 수밖에 없습니다.

구글은 이에 대응하기 위해 Gemini 3.5 Flash의 컴퓨터 조작 기능에 특화된 적대적 훈련을 거쳤다고 설명했습니다.

여기에 기업 사용자를 위한 두 가지 선택형 안전 시스템도 함께 내놓았습니다.

첫째는 결제나 삭제처럼 민감하거나 되돌릴 수 없는 작업을 수행하기 전 사용자의 명시적인 승인을 요구하는 기능입니다. 둘째는 간접적인 프롬프트 주입 정황이 감지되면 즉시 작업을 자동으로 중단시키는 차단 기능입니다.

구글은 이러한 방어선에만 기대지 말고, 개발자 스스로 샌드박스 환경 구축과 인간 개입 검증, 엄격한 권한 제어를 결합한 심층 방어 체계를 갖춰야 한다고 당부했습니다.

왜 중요한가

자동화 워크플로를 구축하려는 개발팀 입장에서 가장 반가운 부분은 비용과 속도입니다. 과거 무거운 최상위 모델로 화면 조작을 시도하면 API 비용 부담이 컸고, 스크린샷을 분석하고 클릭을 결정하는 지연 시간 때문에 작업이 중단되기 일쑤였습니다. 빠르고 저렴한 Flash 모델에 이 기능이 안착하면서 매일 수천 번씩 반복해야 하는 소프트웨어 QA 테스트의 진입 장벽이 크게 낮아졌습니다.

우리는 구글이 특수 목적 전용 모델 대신 범용 기본 도구 형태로 이를 묶어낸 점을 영리한 수로 봅니다. 개발자가 별도의 전용 모델을 번갈아 호출할 필요 없이, 검색 기능을 쓰듯 자연스럽게 화면 제어를 호출할 수 있어 아키텍처가 단순해집니다.

하지만 실제 작업 환경에서의 안전성 문제는 여전히 경계해야 합니다. 웹페이지의 보이지 않는 텍스트나 악의적인 레이아웃을 통해 AI를 속이려는 시도는 계속해서 진화하고 있습니다. 자동 중단 기능이 마련되어 있더라도, 철저한 권한 격리와 샌드박스가 보장되지 않은 상태에서 핵심 데이터가 있는 내부망에 에이전트를 바로 투입하는 것은 위험해 보입니다.