Standard Intelligence 釋出 FDM-1：用千萬小時錄屏訓練操作模型

想讓 AI 學會幫你用電腦，現在的做法有點笨：找外包員工一張一張截圖，標出「這裡點了確定，那裡打了字」，再拿大模型硬學。結果不僅貴，AI 記住的操作還超不過幾秒鐘，碰上 3D 建模或者影片剪輯這種連貫操作直接抓瞎。

初創公司 Standard Intelligence 拿出了一個完全不同的思路，釋出了名為 FDM-1 的基礎電腦操作模型。它拋棄了截圖堆疊的做法，直接在 1100 萬小時的錄屏影片上進行端到端訓練。

把兩小時影片塞進一百萬 token

讓 AI 看影片學操作，最大的攔路虎是 token 消耗。傳統的視覺語言模型（VLM）看一分鐘 30 幀的影片，就能把 100 萬 token 揮霍一空。這就好比一個員工每看一分鐘螢幕，就把一整本專業書的記憶額度用完了。

Standard Intelligence 自己寫了一個影片編碼器。根據官方公佈的資料，這個編碼器能把接近 2 小時的 30 幀影片壓縮到 100 萬 token 內，編碼效率是現有頂尖水平的 50 倍，比 OpenAI 當年用於 Minecraft 的編碼器高出 100 倍。收斂速度也比普通的視覺 Transformer（ViT）快了大約 100 倍。

這意味著在 3.2 萬 token 的常規視窗下，模型能看 3 分半鐘影片；拉到 100 萬視窗時，它能連續看完 1 小時 40 分鐘的操作歷史。CAD 繪圖、金融複雜報表這類需要長期記憶的任務，才終於有了落地的可能。

靠「倒推」把全網錄屏變成教材

網際網路上雖然有成百上千萬小時的敲程式碼直播、遊戲通關影片，但它們沒有滑鼠座標和按鍵記錄，沒法直接給 AI 當教材。如果全靠人工標，成本高到沒人承受得起，目前最大的開源電腦運算元據集還不足 20 個小時。

團隊用了一個三步走的方案。他們先用 4 萬小時的外包標註資料，訓練了一個「逆向動力學模型」（IDM）。這個模型就像一個偵探，看到前一秒和後一秒的螢幕變化，比如螢幕上多了一個字母或者游標挪動了位置，就能倒推出人類剛才按了什麼鍵、滑鼠怎麼移動。由於遇到剪貼簿這類操作需要前後對照，團隊採用了非因果的掩碼擴散架構，保證倒推動作的準確率接近人工標註。

隨後，他們用這個 IDM 給 1100 萬小時的影片自動打上動作標籤。最後才在這些標籤資料上，訓練名為 FDM-1 的「前向動力學模型」，讓它根據上一幀預測下一步敲哪個按鍵、滑鼠往哪邊挪。

為了處理滑鼠無規律的移動，團隊把游標位移歸一化後拆進 49 個指數級分桶裡，微小的移動用細桶，大幅度的劃拉用粗桶。在測試環節，他們搭建了包含 8 萬個分叉虛擬機器的評估系統，單張 H100 顯示卡就能併發控制 42 臺 Ubuntu 虛擬機器，每小時跑完超過 100 萬次推演測試。

為什麼重要

我們認為，FDM-1 標誌著電腦操作智慧體（Computer Use Agent）的技術路線出現了一個重大轉折。

目前無論是 Anthropic 還是 OpenAI，做電腦操作基本都依賴大語言模型的「看截圖、想一想、調工具」模式。這種做法延遲高、推理成本昂貴，而且根本做不了 Blender 拖拽模型、網頁快速滾動這類連續動態任務。Standard Intelligence 徹底扔掉了思維鏈和語言模型的先驗知識，直接把操作當成了下一幀動作預測問題，走的是純正的世界模型路子，這在工程方向上相當聰明。

對使用者和專業創作者來說，這意味著 AI 助手終於可能擺脫「點一下卡三秒」的尷尬，開始勝任連續的專業軟體工作。但現在的技術隱患也顯而易見：完全基於畫素和動作自監督訓練，缺乏語言模型的深層邏輯常識，在面對意圖理解、複雜彈窗或突發報錯時，它的容錯率究竟如何，還需要在非確定性場景下打一個問號。我們認為普通使用者現在不必急著尋求上手，但這套高效壓縮與自監督標註的框架，大機率會逼著大廠重新審視自己的 Agent 訓練流水線。