跳到正文
IFAI

开源项目

Harness²:不改模型权重,让 AI 智能体通过外围组件自我进化

首次发布 传播指数 48

Google Research 开源智能体优化框架 Harness²。它在保持底层模型权重不变的前提下,通过双层递归机制自动调整提示词、工具指南等 8 个外围组件,能让 GLM-5 和 Gemini 3.5 Flash 的任务表现最高提升 11.5 分。代码已按 Apache 2.0 协议开源。

Harness² 是 Google Research 开源的一个即插即用智能体优化框架。它的核心逻辑很简单:一分钱不花去微调模型权重,只靠自动调整模型外围的配置,就能让 AI 智能体面对陌生任务时自我进化。

所谓 Harness,指的就是包在底层模型外面的整套系统。比如系统提示词、记忆、工具指南、技能脚本、插件规则等等。平时智能体干活不给力,很多时候不是模型脑子不行,而是这套外围管线没调好。

它能做什么

Harness² 开放了 8 个可调整的外围组件,涵盖系统提示词、安全护栏、记忆、工具指南、子智能体、技能、脚本以及插件。它们决定了上下文怎么拼装、工具怎么调用、任务怎么分发。

为了把这些组件调优,框架设计了双层递归机制。第一层是任务级递归,采用提议、探测、组合三步走策略。在没有标准答案反馈的情况下,它会生成多种配置并对比执行行为,挑选最好的部分组合成新配置。你可以选并行模式快速广撒网,也可以选串行模式逐层深挖。

第二层是框架级递归。当前任务跑完后,它会把验证有效的配置和经验教训沉淀下来,写进长期改进记忆库,用来指导后续处理完全未知的任务。

实测数据相当扎实。在跨越专业工作的 JobBench、法律领域的 LAB 以及办公编程的 WorkBuddy-Bench 三项基准上,只要跑一步递归,GLM-5 和 Gemini 3.5 Flash 的表现就明显跃升。其中 WorkBuddy-Bench 最高提升了 11.5 分,JobBench 提升 4.5 分,LAB 的部分通过率拉高了 11.8 个百分点。如果增加递归预算,收益还会进一步扩大。

怎么跑起来

项目采用 Apache 2.0 协议开源,代码已经在 GitHub 上线。运行环境需要 Linux、Python 3.12 和 uv 工具包。

仓库自带了一个无需模型 API 密钥的本地测试 demo,使用确定性编辑器和真实 Python 环境运行,几行命令就能直接在本地看双层递归的跑法。

如果要接入真实模型做基准测试,框架支持默认的 OpenCode 执行器以及 Codex 执行器。依赖方面需要 Node.js 20 以上、Google Cloud CLI,以及对应评测集的辅助工具,比如 LAB 需要 Pandoc 和 Poppler,WorkBuddy-Bench 则需要 Docker。

需要注意的是,框架默认赋予执行器完全的网络访问权限,Codex 也是未开启沙盒的状态。在运行公开基准前,建议提前做好网络隔离,防止智能体联网查到基准答案导致成绩失真。

为什么重要

我们认为 Harness² 踩中了一个被严重低估的工程痛点。很多团队为了提升智能体表现,动辄想要做后训练或微调权重,成本极高且容易产生灾难性遗忘。但工程实践里,八成的智能体翻车其实都源于提示词不够细致、工具指南有歧义,或者调用死循环。

手动调优这 8 个组件极其枯燥耗时,Harness² 把这套过程变成了自动化闭环。对于正在搭建生产级 Agent 的独立开发者和算法团队来说,很值得拉下来跑跑看。如果你的任务多变且缺乏标准答案,这种靠外围试探和经验留存的打法,比死磕模型微调要划算得多。

来源 (1)

  1. [1]
    github.com(在新标签页打开)原文github.com

每日 AI 内容精选