H 컴퍼니, PC 제어 특화 모델 Holo1.5 오픈소스 공개…정확도 10% 향상

Holo1.5는 AI가 사람처럼 화면을 보고 정밀하게 조작할 수 있도록 설계된 컴퓨터 제어(Computer Use) 특화 오픈소스 기초 모델입니다. H 컴퍼니는 3B, 7B 모델과 함께 새로 추가된 72B 규격까지 전 라인업의 가중치를 허깅페이스에 공개했습니다.

어떤 작업을 할 수 있나

가장 핵심적인 기능은 UI 요소 위치 파악(Grounding)입니다. 모델에 현재 화면 캡처 이미지와 함께 "스포티파이 앱 실행해 줘" 같은 지시를 내리면, 클릭해야 할 화면의 정확한 좌표(X, Y)를 계산해 출력합니다. Holo1.5는 이전 버전인 Holo1과 비교해 전 규격에서 위치 파악 정확도가 10% 이상 향상되었습니다.

좌표 지정 외에도 UI 시각적 질의응답(VQA) 능력이 함께 강화되었습니다. 컴퓨터 제어 에이전트는 무작정 클릭만 하는 것이 아니라, "지금 활성화된 탭이 무엇인가", "로그인이 완료된 상태인가" 같은 화면 상태를 파악해야 합니다. Holo1.5는 화면의 시각 정보를 바탕으로 이러한 자연어 질문에 정확히 답변하여 작업 흐름을 검증하고 문맥을 파악합니다.

벤치마크는 웹과 모바일뿐만 아니라 macOS, Ubuntu, Windows 등 주요 데스크톱 환경 전반을 포괄합니다. 특히 포토샵, 오토캐드, VSCode처럼 고해상도의 복잡한 전문 소프트웨어를 다루는 ScreenSpot-Pro 벤치마크에서 뛰어난 성적을 거두었습니다. 공개된 결과에 따르면 오픈소스인 Qwen-2.5 VL, UI-TARS 1.5, UI-Venus는 물론 상용 모델인 Sonnet 4보다도 높은 성능을 기록했습니다.

어디서 어떻게 써볼 수 있나

3B, 7B, 72B 규격의 전체 모델 가중치가 허깅페이스에 공개되어 있어 즉시 내려받아 자체 워크플로에 탑재할 수 있습니다.

직접 환경을 세팅하기 전에 동작을 확인해 보고 싶다면 허깅페이스 스페이스(Hugging Face Space)에 마련된 프롬프트 데모를 통해 좌표 출력 방식을 테스트해 볼 수 있습니다. H 컴퍼니는 앞으로 몇 주 안에 Holo 기반의 새로운 도구와 에이전트 프레임워크도 추가로 공개하겠다고 밝혔습니다.

왜 중요한가

데스크톱 자동화 스크립트나 RPA, 크로스 플랫폼 에이전트를 개발하고 있다면 Holo1.5는 즉시 도입을 검토해 볼 만합니다. 가벼운 3B와 7B는 로컬 머신에서 빠른 반응 속도로 실행하기에 알맞고, 72B는 복잡한 상용 소프트웨어의 미세한 인터페이스를 정확히 제어하는 메인 모델로 적합합니다.

기존에는 화면 제어를 위해 값비싼 상용 폐쇄형 API에 의존하는 경우가 많았고, 그마저도 정밀한 좌표 클릭에서 오작동이 잦았습니다. 전문적인 위치 제어와 인터페이스 이해 능력을 갖춘 특화 모델이 오픈 가중치로 풀리면서, 개발자들은 외부 서비스 종속 없이 고성능 PC 제어 에이전트를 자체 구축할 수 있는 실질적인 토대를 얻게 되었습니다.