跳到正文
IFAI

开源项目

LongHorizon-Harness:拆出独立审计角色,专治 AI Agent 长任务越做越跑偏

首次发布 传播指数 48

LongHorizon-Harness 框架开源。它将长任务拆解为管理、执行和独立审计三个独立角色,执行端单次跑完就丢弃上下文,只由审计端核查真实环境后更新记录。在 WeaveBench 评测中,该框架让 Qwen 3.7-Plus 的通过率从 51.8% 飙升至 80.7%。

LongHorizon-Harness:拆出独立审计角色,专治 AI Agent 长任务越做越跑偏
图:lh-harness.pages.dev

LongHorizon-Harness 是一个专门解决 AI Agent 在超长任务中「越做越跑偏」的开源框架。它不做新的大模型,而是通过一套独立的管理、执行与审计架构,管住现有的代码助手和智能体,让它们在面对耗时数小时甚至数天的复杂工程时不会中途失控。

现在的 Agent 框架大多把整个任务塞进一个持续膨胀的上下文会话里。随着历史记录越来越长,模型不仅检索关键信息变难,还会陷入错误累积的恶性循环:前期出现的一个小失误会误导后续所有决策,更糟的是,Agent 总是自己总结自己的工作,把未经验证的猜测当作事实,最终在同一个错误操作上重复死磕数百次,或者自以为完成任务而提前退出。

用独立审计打破上下文膨胀

LongHorizon-Harness 的核心机制叫做 MEA 循环,也就是管理(Manage)、执行(Execute)与审计(Audit)三权分立。它把任务状态抽离到执行上下文之外,由三个相互独立的角色轮流推进。

管理者负责全局规划。它每轮根据独立审计报告核对当前进度,明确未完成的目标、边界条件和验收标准,派发下一个子任务。在总 Token 消耗中,管理者只占大约 2% 到 8%。

执行者只在一个全新的空白上下文中干活。它拿到具体的单步子任务,去环境里改动代码或操作界面,执行完毕后汇报动作。一旦当轮结束,执行过程中产生的原始交互记录全部直接丢弃,不污染后续的长期协作。

审计者拥有绝对的验收权。它是一个只读角色,通过系统工具直接检查真实环境中的文件改动、日志或界面状态,只有被它确认的变动才能写入外部任务记录。执行者自己的陈述只能给审计提供排查线索,绝不能算作完成证据。审计过程占到了总 Token 的 19% 到 38%,以此杜绝谎报进度。

框架为各角色设置了硬性预算:执行者单轮上限 1800 秒,管理者和审计者各 300 秒,单任务最多执行 25 轮。

换框架不换模型,成功率最高翻倍

在底层模型和执行后端完全不变的前提下,仅仅把外层框架替换为 LongHorizon-Harness,多项高难度基准的成绩都出现了明显跃升。

在跨界面协作评测 WeaveBench 上,使用 Qwen 3.7-Plus 模型时,任务通过率从 bare Claude Code 的 51.8% 飙升至 80.7%,综合得分从 0.702 升至 0.835。在真实操作系统复杂任务基准 OSWorld 2.0 中,Qwen 3.7-Plus 的二元任务完成率提升至原来的 3.0 倍,Claude Opus 4.7 也从 20.6% 提升至 35.3%。而在命令行基准 Terminal-Bench 2.1 上,成功率从 69.7% 提升到了 77.2%。

除了成功率,Token 消耗也出现了有意思的分化。在 WeaveBench 和 OSWorld 等复杂环境里,由于加入了反复审计,消耗的 Token 确实有所增加。但在 Terminal-Bench 2.1 上,由于避免了大量的无意义死循环尝试,该框架反而比基线节省了 24% 的 Token。

在游戏类任务测试中,模型能力越强,审计反哺的效果越明显。Claude Opus 4.7 凭借更少轮次的审计修正,总 Token 反而降低了 33%;而相对较弱的模型则会触发更多审计修复回合,消耗更多 Token。

怎么安装和使用

LongHorizon-Harness 对运行环境要求很低,只需要 Python 3.10 及以上环境即可。

系统提供了轻量级的 AgentAdapter 适配器,可以直接兼容现有的主流 Agent 运行时,包括 Claude Code、Codex CLI、OpenClaw 以及 Hermes Agent,底层支持接入 Claude Opus、GPT 和 Qwen 等多款模型。

使用 pip 或 uv 即可快速安装该工具:运行 uv tool install lh-harness 即可完成部署。

启动任务时,只需要在命令行中指定任务描述、执行代理和模型名称。比如运行 lh-harness run 并传入任务参数,还可以加上 --dashboard 参数实时观察 MEA 循环的运行轨迹,每个任务的所有审计记录都会独立隔离保存在对应的目录中。

为什么重要

我们认为,LongHorizon-Harness 最聪明的地方在于它没有盲目追求把超长上下文塞给单个模型,而是用传统软件工程里的「职责分离」和「独立验收」去修正大模型的幻觉惯性。它清楚地证明了一件事:在长周期任务里,决定 Agent 表现上限的往往不是模型的原始单步推理能力,而是框架能帮它保住多少有效进度。

如果你正在开发自动化运维、复杂代码重构或长时间无人值守的 Agent 项目,这个框架非常值得立即尝试。它的主要代价在于审计阶段带来的额外 Token 开销和时间等待,但相比 Agent 独自死循环几百步导致的彻底跑偏,这种确定性的成本投入显然划算得多。

来源 (1)

  1. [1]
    lh-harness.pages.dev(在新标签页打开)原文lh-harness.pages.dev

每日 AI 内容精选