Ai2 推出 MolmoWeb：只看截图就能操作网页的开源智能体

MolmoWeb 是 Ai2 推出的开源权重视觉网页智能体，它不碰网页底层的 HTML 代码，也不读取无障碍树，而是像真人一样只看浏览器截图来浏览和操作网页。

以往构建浏览器智能体，开发者要么调用 OpenAI、Anthropic 这种闭源且昂贵的 API，要么只能用 Browser-use 这种没有自带训练模型的开源框架。MolmoWeb 给出了第三种选择：一个真正训练好、权重完全开放的视觉动作模型。

它能做什么

MolmoWeb 提供 4B 和 8B 两种参数尺寸。它对浏览器环境没有挑剔要求，本地的 Chrome、Safari 或者云端浏览器都能跑。

在每一个操作步骤中，模型接收任务指令、当前屏幕截图、历史动作日志以及当前的网址和标题。接着，它会先生成一段自然语言思考过程，再输出具体动作，比如点击某个屏幕坐标、输入文字、滚动页面、跳转网址或切换标签页。

在测试表现上，Ai2 表示 MolmoWeb 在 WebVoyager、Online-Mind2Web、DeepShop 和 WebTailBench 这四个实时网站基准评测中，成绩超过了其他开源竞争对手，甚至优于早期用 GPT-4o 搭配无障碍树方案构建的智能体。

怎么训练出来的

除了模型权重，Ai2 这次最核心的产出是配套开源的训练数据集 MolmoWebMix。这是目前公开规模最大的人类网页任务数据集，让其他人第一次拥有复现和审计这种智能体的完整数据线索。

数据集主要包含三部分。首先是人类示范数据，标注员通过定制的 Chrome 插件完成了横跨 1100 多个网站的浏览任务，记录下 3 万条人类操作轨迹与 59 万个具体子任务演示。

其次是合成轨迹数据，Ai2 用基于纯文本和无障碍树的智能体生成了补充路径，完全没有依赖 OpenAI Operator 或 Anthropic 等专有视觉 API。

最后是界面感知数据，包含来自近 400 个网站的 220 多万个屏幕截图问答对，专门用来训练模型识别页面元素并在图像上进行逻辑推理。

当前限制与去哪体验

虽然只看图像很灵活，但 MolmoWeb 目前也有明显的短板。它偶尔会看错截图里的文字，拖拽操作依然不够稳定，遇到模糊复杂的指令时完成率也会下降。

另外，出于安全考虑，它没有在需要登录或涉及金融交易的任务上进行训练。

想要尝试的开发者可以寻找开源权重，或者体验官方基于 Browserbase 云浏览器架构搭建的在线 demo。

为什么重要

如果你正在为公司搭建网页自动化流水线，又不想把内部敏感业务送给外部闭源 API，MolmoWeb 非常值得一试。4B 和 8B 的尺寸让本地部署和私有化微调变得完全可行。

更关键的是，以往开源界做网页智能体往往只是「空壳框架」，核心能力依然绑死在闭源模型上。MolmoWeb 连同 3 万条人类轨迹和完整训练管线一起端出来，让大家第一次能真正搞懂一个视觉网页模型到底该怎么训，这对整个开源智能体生态来说走得相当扎实。