LongHorizon-Harness: 초장기 작업에서 AI 에이전트의 경로 이탈을 막는 새 프레임워크

LongHorizon-Harness는 AI 에이전트가 긴 시간 동안 복잡한 작업을 수행할 때 목표를 잃고 엉뚱한 길로 빠지는 문제를 해결하기 위해 공개된 오픈소스 프레임워크입니다. 모델 자체를 새로 훈련하는 대신, 기존 에이전트 외부에 독립적인 관리·실행·감사 체계를 씌워 수 시간에서 며칠이 걸리는 작업도 안정적으로 완수하도록 돕습니다.

기존의 대다수 에이전트 프레임워크는 끝없이 팽창하는 단일 컨텍스트 세션 안에서 모든 작업을 처리합니다. 대화 이력이 길어질수록 모델은 핵심 정보를 찾지 못하고 실수를 누적하게 됩니다. 특히 에이전트가 스스로 작성한 작업 요약을 그대로 신뢰하는 탓에, 검증되지 않은 가정을 사실로 믿고 같은 오류 행동을 수백 번 반복하거나 일을 다 끝마치지 못한 채 종료하는 문제가 흔히 발생했습니다.

실행과 검증을 완전히 분리한 MEA 루프

LongHorizon-Harness의 핵심은 관리(Manage), 실행(Execute), 감사(Audit)의 세 역할을 분리하는 MEA 루프입니다. 작업 상태를 실행 컨텍스트 외부의 독립된 기록으로 보관하고, 감사자가 직접 검증한 사실만 기록에 반영합니다.

관리자는 오직 검증된 사실만을 기반으로 다음 세부 작업을 계획합니다. 완료된 항목과 활성 제약 조건을 검토하고, 명확한 목표와 인수 기준을 갖춘 하위 작업을 설정합니다. 전체 토큰 소비에서 관리자가 차지하는 비중은 2%에서 8% 수준입니다.

실행자는 매 라운드마다 깨끗한 새 컨텍스트에서 단일 하위 작업만 수행합니다. 환경을 수정하고 결과를 보고한 뒤에는 해당 라운드의 상세 실행 궤적이 완전히 폐기되므로, 불필요한 관찰 기록이 장기 조율 컨텍스트를 오염시키지 않습니다.

감사자는 읽기 전용 도구를 사용해 실제 파일, 코드 변경점, 시스템 상태를 직접 점검하는 검증자 역할을 맡습니다. 실행자의 자체 보고서는 확인 위치를 참고하는 용도로만 쓰이며 완료 증거로 인정되지 않습니다. 토큰 소비의 19%에서 38%가 이 감사 과정에 투자되어 거짓 완료 보고를 원천 차단합니다.

예산 제한도 엄격합니다. 실행자는 라운드당 최대 1800초, 관리자와 감사자는 각각 300초가 주어지며, 작업당 최대 25라운드까지만 실행됩니다.

모델 변경 없이 프레임워크 교체만으로 성능 도약

기존 백본 모델과 실행 백엔드를 그대로 유지한 채 프레임워크만 LongHorizon-Harness로 교체했을 때, 주요 벤치마크 전반에서 뚜렷한 성능 향상이 나타났습니다.

다양한 인터페이스 조율 능력을 평가하는 WeaveBench에서 Qwen 3.7-Plus의 통과율은 기본 Claude Code 환경의 51.8%에서 80.7%로 급등했으며, 종합 점수도 0.702에서 0.835로 상승했습니다. 실제 OS 환경을 다루는 OSWorld 2.0에서는 Qwen 3.7-Plus의 이진 작업 완료율이 기존 대비 3.0배 향상되었고, Claude Opus 4.7 역시 20.6%에서 35.3%로 크게 뛰었습니다. CLI 벤치마크인 Terminal-Bench 2.1에서도 성공률이 69.7%에서 77.2%로 높아졌습니다.

토큰 소모 측면에서도 유의미한 결과가 확인되었습니다. WeaveBench나 OSWorld처럼 환경이 복잡한 작업에서는 감사 라운드로 인해 총 토큰 사용량이 늘어났지만, Terminal-Bench 2.1에서는 불필요한 반복 시도가 줄어들며 오히려 토큰을 24% 덜 쓰고도 더 높은 점수를 기록했습니다. 추론 능력이 뛰어난 모델일수록 적은 감사 라운드 안에 조건을 통과해, Claude Opus 4.7의 경우 총 토큰을 33% 절감하기도 했습니다.

설치 및 실행 방법

사용 환경은 간단합니다. Python 3.10 이상과 시스템 PATH에 등록된 에이전트 런타임만 있으면 바로 구동할 수 있습니다.

가벼운 AgentAdapter를 통해 Claude Code, Codex CLI, OpenClaw, Hermes Agent 등 다양한 에이전트 백엔드와 호환되며, Claude Opus, GPT, Qwen 계열 모델을 자유롭게 연결할 수 있습니다.

설치는 uv tool install lh-harness 명령어로 간편하게 끝납니다.

터미널에서 lh-harness run 명령어에 실행할 작업 프롬프트와 에이전트, 모델명을 지정해 실행하면 됩니다. --dashboard 옵션을 붙이면 MEA 상태 머신의 진행 과정을 실시간으로 확인할 수 있으며, 모든 실행 이력과 감사 기록은 각 작업 디렉터리에 격리 저장됩니다.

왜 중요한가

LongHorizon-Harness는 장기 작업의 환각 문제를 무작정 컨텍스트 창을 늘려 해결하려 하지 않고, 소프트웨어 공학의 '책임 분리'와 '독립적 인수 검사'로 풀어냈다는 점에서 매우 영리합니다. 에이전트가 스스로를 평가하게 두지 않고 별도의 감사 관문을 세우는 것만으로도 오류의 누적을 효과적으로 차단할 수 있음을 입증했습니다.

복잡한 코드 리팩터링이나 자율 시스템 운영 등 장시간 구동되는 에이전트를 구축 중인 개발자라면 지금 즉시 도입을 검토해 볼 가치가 있습니다. 감사 과정에서 발생하는 추가 토큰과 시간 비용은 분명 존재하지만, 에이전트가 길을 잃고 헛도는 치명적인 실패를 막아주는 대가로는 충분히 합리적입니다.