Ai2, 화면만 보고 웹 탐색하는 오픈소스 웹 에이전트 '몰모웹' 공개

몰모웹은 비영리 연구기관 Ai2가 공개한 오픈소스 시각 웹 에이전트입니다. HTML 코드나 웹 접근성 트리를 전혀 읽지 않고, 사람이 화면을 보듯 브라우저 스크린샷만으로 웹사이트를 탐색하고 조작합니다.

그동안 브라우저 에이전트를 개발하려면 내부를 들여다볼 수 없는 유료 API를 쓰거나, 사전 학습된 전용 모델 없이 껍데기 프레임워크만 써야 했습니다. 몰모웹은 이 둘 사이에서 완전히 학습된 오픈 가중치 모델이라는 새로운 대안을 제시합니다.

무엇을 할 수 있나

모델은 4B와 8B 두 가지 크기로 제공됩니다. 화면 캡처 이미지만 있으면 동작하기 때문에 로컬의 크롬, 사파리는 물론 클라우드 호스팅 브라우저 환경에서도 제약 없이 돌아갑니다.

각 단계마다 사용자의 지시문, 현재 스크린샷, 직전 행동 기록, 현재 URL과 페이지 제목을 입력받습니다. 그런 다음 자연어로 생각 과정을 먼저 정리하고, 특정 좌표 클릭, 텍스트 입력, 스크롤, 탭 전환 등의 구체적인 동작을 실행합니다.

Ai2에 따르면 몰모웹은 웹보이저, 온라인-마인드2웹, 딥숍, 웹테일벤치 등 실제 사이트 기반 4대 벤치마크에서 경쟁 오픈 모델들을 제쳤습니다. 접근성 트리와 스크린샷을 함께 쓰던 기존 GPT-4o 기반 에이전트보다도 뛰어난 성능을 보였습니다.

어떻게 만들었나

가중치만큼이나 주목받는 것은 함께 공개된 학습 데이터셋 '몰모웹믹스'입니다. 공개된 인간 웹 작업 데이터셋 중 역대 최대 규모입니다.

데이터는 세 가지 요소로 구성됩니다. 작업자가 맞춤 크롬 확장 프로그램을 통해 1100여 개 사이트에서 직접 수행한 3만 건의 인간 작업 궤적과 59만 건의 세부 작업 시연이 핵심입니다.

여기에 오픈에이아이 오퍼레이터나 앤트로픽 같은 독점 시각 API를 쓰지 않고 순수 텍스트 시스템으로 합성한 웹 탐색 경로를 더했습니다. 마지막으로 화면 속 요소를 인식하도록 돕는 220만 건 이상의 스크린샷 질의응답 쌍이 포함됐습니다.

한계와 이용 방법

물론 아직 완벽하지는 않습니다. 스크린샷 속 텍스트를 잘못 읽는 경우가 종종 있고 드래그 앤 드롭 동작이 불안정하며 모호한 지시에는 성능이 떨어집니다. 로그인이나 금융 거래가 필요한 작업에 대해서는 학습되지 않았습니다.

모델 가중치는 직접 내려받아 사용할 수 있으며, 브라우저베이스의 클라우드 인프라를 활용한 온라인 데모 환경도 제공됩니다.

왜 중요한가

내부 데이터를 외부 상용 API에 넘기지 않고 웹 자동화 파이프라인을 구축하려는 팀에게 매우 유용한 도구입니다. 4B와 8B의 가벼운 크기 덕분에 자체 인프라에서 파인튜닝하고 호스팅하기에 부담이 적습니다.

그동안 오픈소스 진영의 웹 에이전트는 사실상 독점 폐쇄형 모델에 의존하는 경우가 대부분이었습니다. 몰모웹이 3만 건의 실제 인간 궤적과 훈련 파이프라인 전체를 투명하게 공개하면서, 누구나 감사하고 복제할 수 있는 오픈 생태계의 기술적 기준선이 한 단계 높아졌습니다.