Harness²: 모델 가중치 수정 없이 AI 에이전트를 자체 진화시키는 오픈소스

Harness²는 Google Research가 오픈소스로 공개한 플러그앤플레이 에이전트 최적화 프레임워크입니다. 모델 가중치를 전혀 수정하지 않고도 주변 실행 구성을 자동으로 다듬어, 에이전트가 낯선 작업에서도 스스로 적응하고 진화하도록 만듭니다.

여기서 하네스란 프롬프트, 도구 지침, 메모리, 스크립트 등 모델이 에이전트로 동작할 수 있도록 감싸는 주변 시스템을 뜻합니다. 현장에서 에이전트가 실패하는 주된 원인은 기초 모델의 능력 부족보다 하네스 파이프라인의 조율 미흡에 있는 경우가 많습니다.

무엇을 할 수 있나

Harness²는 모델 외곽의 8개 요소를 편집 대상으로 다룹니다. 시스템 프롬프트, 가드레일, 메모리, 도구 안내, 서브에이전트, 스킬, 스크립트, 플러그인이 이에 해당합니다.

최적화는 이중 재귀 구조로 진행됩니다. 첫 번째는 작업 단위 재귀입니다. 정답 레이블이 없는 상황에서도 제안, 테스트, 조합의 3단계를 거치며 서로 다른 실행 양상을 대조해 최적 설정을 구성합니다. 병렬 모드로 폭넓게 후보군을 탐색하거나 직렬 모드로 깊이 있게 튜닝할 수 있습니다.

두 번째는 프레임워크 단위 재귀입니다. 작업이 끝나면 성공적인 하네스 구성과 실증된 교훈을 영구 저장소에 축적하여, 이후에 마주칠 완전히 새로운 작업의 최적화 가이드로 활용합니다.

실험 결과도 뚜렷합니다. 전문 업무를 다루는 JobBench, 법률 분야 LAB, 사무 및 코딩 중심의 WorkBuddy-Bench 평가에서 단 한 번의 재귀만으로 GLM-5와 Gemini 3.5 Flash의 성능을 끌어올렸습니다. WorkBuddy-Bench 기준 최대 11.5점, JobBench 4.5점 상승을 기록했으며 LAB의 부분 통과율도 11.8퍼센트포인트 개선되었습니다.

어떻게 실행하나

프로젝트는 Apache 2.0 라이선스로 배포되었으며 GitHub 저장소에서 바로 확인할 수 있습니다. 기본 환경은 Linux, Python 3.12, 패키지 관리자 uv를 권장합니다.

API 키 없이도 동작을 살펴볼 수 있는 로컬 데모가 포함되어 있습니다. 결정론적 편집기와 실제 Python 실행 환경을 결합해 이중 재귀 흐름을 즉시 체감해 볼 수 있습니다.

실제 모델을 연동한 벤치마크 테스트를 진행하려면 Node.js 20 이상과 Google Cloud CLI 설정이 필요합니다. 실행기로는 기본 OpenCode 외에 Codex를 지원합니다. 주의할 점은 실행기의 외부 네트워크 접근이 기본적으로 허용되어 있고 Codex 샌드박스가 비활성화되어 있다는 점입니다. 벤치마크 평가 시에는 인터넷을 통한 정답 유출을 막기 위해 네트워크를 적절히 차단해야 합니다.

왜 중요한가

Harness²는 복잡한 모델 파인튜닝 없이도 에이전트의 완성도를 높이는 실용적인 길을 제시합니다. 가중치를 직접 건드리는 훈련은 비용이 많이 들고 기존 지식을 훼손할 위험이 크지만, 외곽 구성 요소의 자동 탐색은 훨씬 가볍고 안전합니다.

매번 수작업으로 프롬프트와 도구 지침을 깎아내던 개발자라면 즉시 도입을 검토해 볼 만합니다. 정답이 정해져 있지 않은 복잡한 도메인에서 에이전트를 운영해야 할 때 매우 유용한 접근법입니다.