本文へスキップ
IFAI

オープンソース

LongHorizon-Harness:AIエージェントの長大タスクでの「脱線」を防ぐ新フレームワーク

公開 拡散指数 48

LongHorizon-Harnessが公開された。タスク管理、実行、独立監査の3役に分離し、実行役は単一タスクごとに文脈を破棄し、実環境を検証した監査役のみが進捗を記録する仕組み。WeaveBenchではQwen 3.7-Plusの通過率が51.8%から80.7%へ大幅に改善した。

LongHorizon-Harness:AIエージェントの長大タスクでの「脱線」を防ぐ新フレームワーク
画像:lh-harness.pages.dev

LongHorizon-Harnessは、AIエージェントが長時間にわたる複雑なタスクで徐々に目的を見失う「脱線」を防ぐために作られたオープンソースフレームワークです。モデルそのものを新たに学習させるのではなく、既存のエージェントの外側に独立した管理・実行・監査の仕組みを組み込むことで、数時間から数日規模の作業を確実に完遂させます。

現在普及しているエージェントシステムの多くは、単一の肥大化し続けるコンテキストセッションに全タスクを詰め込んでいます。履歴が長くなるにつれて重要な情報の取得が難しくなり、初期の小さな判断ミスが後続の選択を歪め続ける悪循環に陥ります。さらに、エージェント自身が自分の成果を要約して事実とみなすため、同じ失敗操作を数百回繰り返したり、未完了のまま終了してしまう問題が頻発していました。

実行と検証を切り離すMEAループ

LongHorizon-Harnessは、管理(Manage)、実行(Execute)、監査(Audit)の3役を厳格に分離する「MEAループ」を採用しています。タスクの進捗状態を実行用コンテキストの外部で一元管理し、監査役が実際に検証した事実のみを記録します。

管理役は、監査済みの客観的記録だけを参照して現状を把握し、制約条件や検収基準を定めた単一の小タスクを切り出します。トークン全体の消費のうち、管理役が占める割合はわずか2%から8%程度です。

実行役は、毎回クリーンな新規コンテキストでその小タスクだけを実行します。作業が終わると、環境に変更を加えた報告のみを残し、実行時の詳細な対話ログはすべて破棄されます。これにより、長大タスク全体の文脈が泥沼化するのを防ぎます。

監査役は読み取り専用の権限で実際の環境を直接検査します。ファイル差分や画面状態をツールで検証し、条件を満たした事実だけを進捗記録に追記します。実行役自身の自己申告は監査の参考情報にしかならず、完了の証拠にはできません。トークン消費の19%から38%がこの監査に充てられます。

各ロールには実行時間制限が設けられており、実行役は1ラウンド最大1800秒、管理役と監査役は各300秒で、1タスクあたり最大25ラウンドまで実行可能です。

モデルを変えずに成功率が大幅向上

バックボーンとなる言語モデルや実行環境を一切変えず、外側のハーネスを置き換えるだけで、複数の主要ベンチマークで明確な性能向上が確認されました。

UIを跨ぐ複合操作ベンチマークのWeaveBenchでは、Qwen 3.7-Plusを用いた場合の通過率がClaude Code単体の51.8%から80.7%へと急上昇し、総合スコアも0.702から0.835へ改善しました。実OS環境のタスクを評価するOSWorld 2.0では、Qwen 3.7-Plusのタスク完了率が従来の3.0倍に達し、Claude Opus 4.7も20.6%から35.3%に向上しています。CLI操作を測るTerminal-Bench 2.1でも、成功率が69.7%から77.2%へと伸びました。

トークン消費量には興味深い特徴が見られます。WeaveBenchやOSWorldのようなタスクでは監査処理によって総トークンが増加しますが、Terminal-Bench 2.1では無駄な試行錯誤ループが排除された結果、ベースラインより24%少ないトークンで高いスコアを記録しました。また能力の高いモデルほど少ない監査ラウンドで要求を満たせるため、Claude Opus 4.7では総トークンが33%削減される傾向も示されています。

導入手順と使い方

利用に必要な環境はPython 3.10以上と、PATHに通った既存のエージェント実行環境のみです。

軽量なAgentAdapterが用意されており、Claude Code、Codex CLI、OpenClaw、Hermes Agentなどの実行バックエンドをそのまま切り替えて利用できます。Claude Opus、GPT、Qwenなど多様なモデルに対応しています。

インストールは簡単で、uv tool install lh-harness を実行するだけで完了します。

タスクを実行する際は、コマンドラインから対象指示、エージェント名、モデル名を指定して呼び出します。--dashboard オプションを付与すればMEAループの進行をリアルタイムで監視でき、各実行結果や監査ログはタスクごとのディレクトリに独立して保存されます。

なぜ重要か

LongHorizon-Harnessのアプローチは、エージェントの長大タスク問題を「コンテキスト長を伸ばす」ことではなく、「権限分離と第三者監査」という古典的かつ確実なソフトウェア工学の手法で解いた点が極めて合理的です。エージェント自身に自己採点させず、独立した監査役をゲートに置く設計は、ハルシネーションの連鎖を根本から食い止めます。

コードのリファクタリングやインフラ自動化など、長時間自律動作させたい現場の開発者にとって、今すぐ試す価値の高いフレームワークです。監査に伴うトークン増加というコストは発生しますが、エージェントが途中で迷走してタスク全体が失敗するリスクを考えれば、極めて割に合う投資といえます。

情報源 (1)

  1. [1]
    lh-harness.pages.dev(新しいタブで開きます)原文lh-harness.pages.dev

毎日のAIピックアップ