Ai2 推出 MolmoWeb：只看截圖就能操作網頁的開源智慧體

MolmoWeb 是 Ai2 推出的開源權重視覺網頁智慧體，它不碰網頁底層的 HTML 程式碼，也不讀取無障礙樹，而是像真人一樣只看瀏覽器截圖來瀏覽和操作網頁。

以往構建瀏覽器智慧體，開發者要麼呼叫 OpenAI、Anthropic 這種閉源且昂貴的 API，要麼只能用 Browser-use 這種沒有自帶訓練模型的開源框架。MolmoWeb 給出了第三種選擇：一個真正訓練好、權重完全開放的視覺動作模型。

它能做什麼

MolmoWeb 提供 4B 和 8B 兩種引數尺寸。它對瀏覽器環境沒有挑剔要求，本地的 Chrome、Safari 或者雲端瀏覽器都能跑。

在每一個操作步驟中，模型接收任務指令、當前螢幕截圖、歷史動作日誌以及當前的網址和標題。接著，它會先生成一段自然語言思考過程，再輸出具體動作，比如點選某個螢幕座標、輸入文字、滾動頁面、跳轉網址或切換標籤頁。

在測試表現上，Ai2 表示 MolmoWeb 在 WebVoyager、Online-Mind2Web、DeepShop 和 WebTailBench 這四個即時網站基準評測中，成績超過了其他開源競爭對手，甚至優於早期用 GPT-4o 搭配無障礙樹方案構建的智慧體。

怎麼訓練出來的

除了模型權重，Ai2 這次最核心的產出是配套開源的訓練資料集 MolmoWebMix。這是目前公開規模最大的人類網頁任務資料集，讓其他人第一次擁有復現和審計這種智慧體的完整資料線索。

資料集主要包含三部分。首先是人類示範資料，標註員通過定製的 Chrome 外掛完成了橫跨 1100 多個網站的瀏覽任務，記錄下 3 萬條人類操作軌跡與 59 萬個具體子任務演示。

其次是合成軌跡資料，Ai2 用基於純文本和無障礙樹的智慧體生成了補充路徑，完全沒有依賴 OpenAI Operator 或 Anthropic 等專有視覺 API。

最後是介面感知資料，包含來自近 400 個網站的 220 多萬個螢幕截圖問答對，專門用來訓練模型識別頁面元素並在影像上進行邏輯推理。

當前限制與去哪體驗

雖然只看影像很靈活，但 MolmoWeb 目前也有明顯的短板。它偶爾會看錯截圖裡的文字，拖拽操作依然不夠穩定，遇到模糊複雜的指令時完成率也會下降。

另外，出於安全考慮，它沒有在需要登入或涉及金融交易的任務上進行訓練。

想要嘗試的開發者可以尋找開源權重，或者體驗官方基於 Browserbase 雲瀏覽器架構搭建的線上 demo。

為什麼重要

如果你正在為公司搭建網頁自動化流水線，又不想把內部敏感業務送給外部閉源 API，MolmoWeb 非常值得一試。4B 和 8B 的尺寸讓本地部署和私有化微調變得完全可行。

更關鍵的是，以往開源界做網頁智慧體往往只是「空殼框架」，核心能力依然綁死在閉源模型上。MolmoWeb 連同 3 萬條人類軌跡和完整訓練管線一起端出來，讓大家第一次能真正搞懂一個視覺網頁模型到底該怎麼訓，這對整個開源智慧體生態來說走得相當紮實。