跳到正文
IFAI

AI科研

Anthropic 推出 Drone-Bench:测试 AI 操控无人机定点追踪

首次发布 传播指数 34

Anthropic 与 Andon Labs 联合发布 Drone-Bench 基准,评估 AI 模型操控无人机在室内自主定位与追踪目标的能力。基准将任务拆解为重建、定位等五项,在 15 款模型中 Claude Fable 5 表现最佳,但因 3D 重建缺陷仍无法全自主跨房间飞行。

Anthropic 推出 Drone-Bench:测试 AI 操控无人机定点追踪
图:anthropic.com

如果给大模型一台市面上随便能买到的四轴飞行器,只给一张照片,它能不能飞进办公室把人找出来并一路跟着?

Anthropic 联合 Andon Labs 做了这项名为 Project Pilot 的实验,并发布了一个新的评测基准 Drone-Bench。他们找来包括 GPT-4o、Gemini 3.1 Pro、GPT-5.6 Sol 以及 Claude Fable 5 在内的 15 款模型,测试它们能不能像操作软件工具那样去操控无人机。

实验把追踪任务拆成了五个子环节:把办公室视频还原成 3D 模型并切出障碍物地图的「重建」、确认无人机当前位置的「定位」、规划飞行路线的「导航」、认出目标人脸的「检测」,以及保持距离跟随的「追踪」。

差最后一块拼图:Fable 5 倒在 3D 重建上

从测试结果来看,模型代际演进的趋势很明显,越新的模型表现越靠前。在全部 15 款模型中,Claude Fable 5 拿下了最好的成绩。

在检测和追踪这两个环节上,Fable 5 的发挥甚至明显超过了人类工程师配搭 AI 助手做出的基准水平。不过一旦上真机测试,它却没法自己穿梭在不同房间之间。

卡住它的地方是 3D 重建。Fable 5 在建图环节产生了误差,而这个小误差在接下来的定位和导航中被层层放大,最终导致无人机迷了路。在 5 个子任务里,它成了唯一没能迈过基准线的一关。

虽然端到端跑完全程还没成功,但模型在解题时展现的思路挺让人意外。测试人员发现,Fable 5 在交卷前会自己先在本地推演。

比如在一次测试里,它分析模拟环境的视频画面,利用办公室地板砖的缝隙找到透视灭点,反推出无人机相机的俯仰角,误差只有 4 度。在另一次测试中,它甚至自己先手搓了一个 2D 俯视地图,在上面跑模拟代码排查低级错误,测完才提交最终指令。

不过,稳定性依然是硬伤。在连续 10 次模拟测试里,Fable 5 平均只能在 3 个任务上稳定达到基准线。

为什么重要

这项测试对业内的核心启发在于:具身智能的演进并不一定是非黑即白的突变,把长链条任务拆开来看,大模型在物理世界里的能力边界其实非常清晰。

在人脸识别和视觉伺服追踪这类传统强项上,模型已经展现出超越常规算法的潜力;但空间几何理解、环境建图以及多步骤容错,依旧是纯语言与多模态大模型的软肋。我们认为,短时间内指望大模型独立搞定完全自主的无人机搜救或复杂巡检还不现实,它目前更适合作为辅助插件,而不是直接交出飞行控制权。

Anthropic 选在这个节点公开 Drone-Bench,聪明之处在于抢先设定了双用途硬件评估的话语权。低成本四轴无人机加上现成的大模型,潜在的安全与监控风险显而易见。既然技术离「端到端跑通」只差最后一块拼图,把能力基准公开出来,逼整个行业在风险彻底失控前建立防线,看起来是个及时的预防动作。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选