跳到正文
IFAI

AI科研

Terminal-Bench 推出 2.0 版与 Harbor:专为智能体沙盒部署打造

首次发布 传播指数 31

今天,Terminal-Bench 宣布推出两项新工具:用于大规模沙盒智能体部署的 Harbor,以及难度更高、验证机制更强的 Terminal-Bench 2.0。新版本旨在为开发者提供更严苛的智能体终端能力测试环境。

Terminal-Bench 推出 2.0 版与 Harbor:专为智能体沙盒部署打造
图:x.com

想让 AI 智能体去终端执行复杂任务,最大的麻烦往往不是它不会写命令,而是你在测试时既怕它把真实系统搞坏,又怕现有的考卷太简单测不出真实水平。

搞定沙盒与更严苛的考卷

Alex Shaw 宣布了 Terminal-Bench 的新进展,直接拿出了两个新工具。

一个是 Harbor,一个专门用于大规模运行沙盒化智能体部署测试的工具包。

另一个是 Terminal-Bench 2.0。和上一代相比,它的题目难度更高,同时引入了更严格的验证机制,防止模型靠侥幸或不严谨的判定蒙混过关。

为什么重要

终端智能体要真正落地,大规模沙盒测试是绕不开的基建。如果在真实机器上跑,稍微越界就可能删库或改错系统配置;Harbor 尝试解决的就是在大规模测试时,如何把智能体安全关进沙盒里跑。

与此同时,随着大模型推理能力提升,原有的基准测试很容易被迅速刷爆。Terminal-Bench 2.0 选择拔高难度并加强结果验证,能更真实地反映模型在真实命令行环境下的工作能力。

我们认为,终端类智能体的竞争正在从纯粹比拼代码生成,转向比拼复杂长流程和真实环境容错。测试工具如果能把沙盒调度与严格验证做扎实,对下游开发者的模型选型会有很实在的参考价值。

来源 (1)

  1. [1]
    @alexgshaw(在新标签页打开)原文x.com

每日 AI 内容精选