MS, 화면 보고 마우스 조작하는 7B 온디바이스 에이전트 'Fara-7B' 공개

Fara-7B는 마이크로소프트가 오픈소스로 공개한 70억 파라미터(7B) 크기의 컴퓨터 조작 특화 언어 모델이다. 웹 브라우저에서 사용자를 대신해 마우스를 클릭하고 키보드로 입력하며 일상 작업을 수행한다.

그동안 웹 예약이나 폼 작성 같은 컴퓨터 조작 에이전트를 돌리려면 비싼 클라우드 대형 모델을 여러 개 엮어야 했다. Fara-7B는 가벼운 소형 모델 하나에 복잡한 웹 조작 능력을 압축해 개인 기기에서 직접 돌릴 수 있게 만들었다.

무엇을 할 수 있나

Fara-7B는 웹페이지의 코드 트리나 보조 기능 트리를 읽지 않고, 인간처럼 오직 브라우저 화면 스크린샷만 보고 상황을 판단한다.

사용자의 지시 사항, 이전 행동 기록, 그리고 최근 스크린샷 3장을 확인한 뒤 짧은 추론 과정을 거쳐 화면의 정확한 좌표를 클릭하거나 텍스트를 입력하고 스크롤하는 구체적인 명령을 내린다.

영화나 식당 예약, 여러 쇼핑몰의 상품 가격 비교, 채용 공고 탐색 등 여러 단계를 거쳐야 하는 일상적인 웹 작업을 사람 대신 완수할 수 있다.

구현 방식과 성능

기반 모델로는 뛰어난 시각적 위치 인식 능력과 최대 128k 토큰 컨텍스트를 지원하는 Qwen2.5-VL-7B를 사용했다. 강화학습 없이 고품질 지도 학습만으로 훈련된 것이 특징이다.

조작 데이터 부족 문제를 해결하기 위해 마이크로소프트는 Magentic-One 기반의 멀티 에이전트 합성 데이터 생성 파이프라인을 구축했다. 이를 통해 14만 5천 개의 작업 궤적과 100만 단계에 달하는 실제 웹 인터랙션 데이터를 생성해 소형 모델에 증류했다.

대표 벤치마크인 WebVoyager에서 공식 평가 기준 73.5%의 작업 성공률을 기록했으며, 실무 웹 작업을 모은 WebTailBench에서는 38.4%를 기록해 OpenAI의 computer-use-preview 같은 대형 모델을 앞섰다. 외부 파트너사인 Browserbase의 인간 검증 테스트에서도 재시도를 포함해 62%의 성공률을 입증했다.

다만 실험용 프리뷰 버전인 만큼, 복잡하고 긴 작업에서는 정확도가 떨어지거나 지시를 놓치는 한계가 있다. 중요한 계정 정보나 금융 관련 작업은 피하고, 샌드박스 환경에서 사람이 지켜보는 상태로 실행하는 것이 안전하다.

어떻게 써볼 수 있나

Fara-7B는 MIT 라이선스로 배포되어 Hugging Face와 Microsoft Foundry에서 누구나 가중치를 내려받을 수 있다.

윈도우 11 기반 Copilot+ PC를 보유하고 있다면 하드웨어에 최적화된 양자화 버전을 바로 설치해 로컬 환경에서 테스트할 수 있다. 마이크로소프트 리서치의 연구용 프로토타입인 Magentic-UI와도 연동된다.

왜 중요한가

로컬 PC 자동화를 구축하려는 개발자에게 Fara-7B는 매우 매력적인 도구다. 7B 크기 덕분에 클라우드 API 호출 비용 부담이 없고, 무엇보다 화면 스크린샷이 외부 서버로 유출되지 않아 개인정보와 데이터 프라이버시를 온전히 지킬 수 있다.

복잡한 다중 에이전트 시스템으로 데이터를 정제해 단일 소형 모델에 성공적으로 녹여냈다는 점에서도 의미가 크다. 아직 사람의 모니터링이 필요하지만, 온디바이스 에이전트가 실생활 보조 도구로 내려앉을 수 있음을 보여준 똑똑한 결과물이다.