스타트업 OpenAGI, PC 제어 모델 'Lux' 공개: 83.6%로 OpenAI 제쳤다 주장

대형 기술 기업들이 컴퓨터를 대신 제어하는 AI 에이전트를 앞다퉈 내놓고 있지만, 웹사이트 레이아웃이 조금만 바뀌어도 헤매는 문제는 여전했습니다.

이런 상황에서 미국 매사추세츠공과대학교(MIT) 연구자 출신인 쩡이 친(Zengyi Qin) 최고경영자(CEO)가 이끄는 스텔스 스타트업 OpenAGI가 베일을 벗고 새로운 파운데이션 모델 '럭스(Lux)'를 공개했습니다. 럭스는 화면 스크린샷을 분석해 데스크톱 애플리케이션과 웹 브라우저에서 직접 마우스와 키보드 액션을 실행하도록 설계된 AI입니다.

OpenAGI는 럭스가 컴퓨터 제어 성능 평가 지표인 'Online-Mind2Web'에서 83.6%의 성공률을 기록했다고 밝혔습니다. 이는 지난 1월 출시된 OpenAI의 오퍼레이터(Operator)가 기록한 61.3%와 앤트로픽의 클로드 컴퓨터 유즈(Claude Computer Use)의 56.3%를 큰 격차로 따돌린 수치입니다.

캐시가 아닌 실제 라이브 웹에서 거둔 성적

Online-Mind2Web은 오하이오주립대학교와 UC버클리 연구진이 개발한 벤치마크로, 언어 모델링 학회인 COLM 2025에 채택된 신뢰도 높은 평가 프레임워크입니다. 현재 허깅페이스에서 공개 리더보드를 운영하고 있습니다.

과거 벤치마크들이 웹페이지를 정적으로 저장해 둔 캐시 환경을 썼던 것과 달리, 이 지표는 136개 실제 라이브 웹사이트에서 항공권 예약부터 복잡한 전자상거래 결제까지 300개 과제를 수행하도록 시험합니다. 동적으로 변하는 웹 요소와 예상치 못한 팝업이 그대로 노출되는 환경입니다.

오하이오주립대 연구진은 시중의 주요 상용 에이전트들을 시험했을 때, 상당수 시스템이 2024년 1월에 나온 초기 에이전트인 SeeAct조차 뛰어넘지 못할 만큼 마케팅 수치와 실제 성능 간의 괴리가 컸다고 밝힌 바 있습니다.

텍스트 예측 대신 '행동'을 사전 학습하다

OpenAGI는 기존 대형언어모델(LLM)과 다른 학습 방식을 취했다고 설명합니다. 일반적인 LLM은 방대한 텍스트 코퍼스를 학습해 다음 단어를 맞추는 데 능하지만, 그래픽 인터페이스를 조작하는 데는 근본적인 한계가 있습니다.

럭스는 '에이전틱 액티브 사전 학습'이라는 기법을 적용해 컴퓨터 스크린샷과 이에 대응하는 조작 시퀀스를 직접 학습했습니다. 어떤 화면에서 마우스를 어디에 클릭하고 키보드를 어떻게 입력해야 하는지 시각적으로 바로 판단합니다.

친 CEO는 모델이 컴퓨터 환경을 능동적으로 탐색하며 새로운 지식을 만들어내고, 이를 다시 학습 데이터로 피드백하는 자가 진화 루프를 구축했다고 밝혔습니다. 이 방식 덕분에 거대 자본을 쥔 빅테크보다 적은 비용으로도 지속적인 성능 개선이 가능했다는 설명입니다.

왜 중요한가

복잡한 데이터 입력이나 예약 작업을 자동화하려는 사용자와 개발자에게 80%대 중반의 성공률은 의미가 큽니다. 지금까지의 컴퓨터 제어 에이전트는 불안정한 성공률 탓에 실제 업무 흐름에 온전히 맡기기 어려웠지만, 럭스의 수치가 현장에서도 유지된다면 실질적인 업무 대행 도구로 시험해볼 가치가 충분합니다.

업계 차원에서는 텍스트 중심의 거대 범용 모델에 시각 기능을 덧붙이는 방식 대신, 인터페이스 조작 자체를 타깃으로 삼은 특화 모델이 비용과 정확도 모두에서 앞설 수 있음을 보여줬습니다. 이는 에이전트 경쟁의 축을 모델 크기에서 행동 데이터 구조로 옮겨놓을 수 있습니다.

우리는 환경 탐색을 통해 데이터를 자체 생성하는 훈련 루프를 고안한 OpenAGI의 접근이 매우 영리하다고 평가합니다. 다만 실제 기업 업무 환경은 벤치마크보다 훨씬 예외 상황이 많고 오작동 시의 위험도 큽니다. 공개된 벤치마크 수치를 넘어 다양한 실제 환경에서 오류 없이 버텨낼 수 있을지는 외부의 독립적인 검증을 더 지켜볼 필요가 있어 보입니다.