跳到正文
IFAI

開源專案

微軟開源端側 Agent 模型 Fara-7B:70 億引數,能替你上網點滑鼠

首次發布 傳播指數 49

微軟開源計算機使用模型 Fara-7B。它僅 70 億引數,無需輔助功能樹,直接看螢幕截圖就能操縱鍵鼠完成填表、訂票等網頁任務。最關鍵的是它支援在 Copilot+ PC 上離線執行,兼顧了低延遲與隱私安全。

微軟開源端側 Agent 模型 Fara-7B:70 億引數,能替你上網點滑鼠
圖:microsoft.com

Fara-7B 是微軟開源的一款 70 億引數計算機操作模型,專門用來替你在瀏覽器裡點滑鼠、敲鍵盤、跑日常網頁任務。

以往要想讓 AI 幫你訂機票、填表或者比價,要麼得調動昂貴的雲端大模型,要麼得寫一套複雜的自動化指令碼。Fara-7B 換了個思路,把複雜的控制邏輯濃縮排一個小尺寸模型裡,能直接在端側電腦上執行。

它能做什麼

Fara-7B 操作電腦的方式和真人幾乎一樣。它不需要讀取網頁底層的輔助功能樹,也不靠額外的頁面解析模型,僅僅依靠瀏覽器當前介面的截圖來理解內容。

每次執行操作時,模型會參考使用者的指令、歷史動作記錄以及最近的三張截圖。它會先輸出一段思考推理,然後直接預測具體的滑鼠座標或按鍵操作,比如點選特定位置、輸入文本、滾動頁面,或者調用搜索和跳轉連結等巨集指令。

在任務測試中,它不僅能完成常規的資訊檢索和表單填寫,還能處理跨店鋪比價、餐廳訂座、求職申請和房產查詢等常見多步驟任務。

怎麼做到的與實際表現

Fara-7B 以 Qwen2.5-VL-7B 為底座模型,利用其在視覺定位能力和最長 128k 上下文支援上的優勢,沒有使用強化學習,全靠高質量監督微調訓練而成。

為了解決這類模型訓練資料匱乏的問題,微軟搭建了一套多智慧體合成數據流水線,通過編排器、網頁瀏覽者和驗證器智慧體互相配合,生成了包含 14.5 萬條軌跡、覆蓋 100 萬步真實網頁操作的資料集,最後把這些能力蒸餾到了這顆 70 億引數的模型中。

在基準測試中,Fara-7B 在 WebVoyager 上的官方評測成功率達到 73.5%,在真實複雜網頁測試 WebTailBench 上拿到 38.4%,表現甚至超過了部分體積大得多的雲端方案,例如 OpenAI 的 computer-use-preview。第三方平臺 Browserbase 用人工驗證的方式對它進行獨立測試,在帶重試的 WebVoyager 環境下也跑出了 62% 的成功率。

不過作為實驗性版本,它依然存在小模型常見的短板:在特別複雜的長任務中容易失準,偶爾不聽指令,或是出現幻覺。官方特別提醒,不要用它處理涉及敏感資料或高風險的操作,最好在沙箱環境裡執行並全程人工監控。

怎麼跑起來

Fara-7B 目前已經在 Hugging Face 和 Microsoft Foundry 上線,採用非常寬鬆的 MIT 許可證,可以直接下載權重。

如果你手裡有執行 Windows 11 的 Copilot+ PC,可以直接下載官方提供的量化最佳化版本開箱即用。同時它還集成了微軟的 Magentic-UI 研究原型,方便開發者在本地搭建自己的智慧體測試環境。

為什麼重要

對於想要做本地網頁自動化的開發者來說,Fara-7B 是目前門檻最低、也最值得動手的開源起點。它的引數量只有 70 億,讓整個自動化流程擺脫了高昂的雲端 API 呼叫費,更關鍵的是瀏覽記錄、賬號資訊等私密螢幕資料完全不需要上傳雲端,解決了端側代理最棘手的隱私顧慮。

從技術路線上看,用多智慧體系統合成資料再蒸餾給單體小模型的做法非常聰明,證明了端側小模型完全能在特定專業操作任務上逼近前沿大模型。只要你在使用時加上沙箱和人工確認機制,它現在就能成為你日常處理機械化網頁操作的實用工具。

來源 (1)

  1. [1]
    microsoft.com(在新分頁開啟)原文microsoft.com

每日 AI 內容精選