Standard Intelligence 发布 FDM-1：用千万小时录屏训练操作模型

想让 AI 学会帮你用电脑，现在的做法有点笨：找外包员工一张一张截屏，标出「这里点了确定，那里打了字」，再拿大模型硬学。结果不仅贵，AI 记住的操作还超不过几秒钟，碰上 3D 建模或者视频剪辑这种连贯操作直接抓瞎。

初创公司 Standard Intelligence 拿出了一个完全不同的思路，发布了名为 FDM-1 的基础电脑操作模型。它抛弃了截图堆叠的做法，直接在 1100 万小时的录屏视频上进行端到端训练。

把两小时视频塞进一百万 token

让 AI 看视频学操作，最大的拦路虎是 token 消耗。传统的视觉语言模型（VLM）看一分钟 30 帧的视频，就能把 100 万 token 挥霍一空。这就好比一个员工每看一分钟屏幕，就把一整本专业书的记忆额度用完了。

Standard Intelligence 自己写了一个视频编码器。根据官方公布的数据，这个编码器能把接近 2 小时的 30 帧视频压缩到 100 万 token 内，编码效率是现有顶尖水平的 50 倍，比 OpenAI 当年用于 Minecraft 的编码器高出 100 倍。收敛速度也比普通的视觉 Transformer（ViT）快了大约 100 倍。

这意味着在 3.2 万 token 的常规窗口下，模型能看 3 分半钟视频；拉到 100 万窗口时，它能连续看完 1 小时 40 分钟的操作历史。CAD 绘图、金融复杂报表这类需要长期记忆的任务，才终于有了落地的可能。

靠「倒推」把全网录屏变成教材

互联网上虽然有成百上千万小时的敲代码直播、游戏通关视频，但它们没有鼠标坐标和按键记录，没法直接给 AI 当教材。如果全靠人工标，成本高到没人承受得起，目前最大的开源电脑操作数据集还不足 20 个小时。

团队用了一个三步走的方案。他们先用 4 万小时的外包标注数据，训练了一个「逆向动力学模型」（IDM）。这个模型就像一个侦探，看到前一秒和后一秒的屏幕变化，比如屏幕上多了一个字母或者光标挪动了位置，就能倒推出人类刚才按了什么键、鼠标怎么移动。由于遇到剪贴板这类操作需要前后对照，团队采用了非因果的掩码扩散架构，保证倒推动作的准确率接近人工标注。

随后，他们用这个 IDM 给 1100 万小时的视频自动打上动作标签。最后才在这些标签数据上，训练名为 FDM-1 的「前向动力学模型」，让它根据上一帧预测下一步敲哪个按键、鼠标往哪边挪。

为了处理鼠标无规律的移动，团队把光标位移归一化后拆进 49 个指数级分桶里，微小的移动用细桶，大幅度的划拉用粗桶。在测试环节，他们搭建了包含 8 万个分叉虚拟机的评估系统，单张 H100 显卡就能并发控制 42 台 Ubuntu 虚拟机，每小时跑完超过 100 万次推演测试。

为什么重要

我们认为，FDM-1 标志着电脑操作智能体（Computer Use Agent）的技术路线出现了一个重大转折。

目前无论是 Anthropic 还是 OpenAI，做电脑操作基本都依赖大语言模型的「看截图、想一想、调工具」模式。这种做法延迟高、推理成本昂贵，而且根本做不了 Blender 拖拽模型、网页快速滚动这类连续动态任务。Standard Intelligence 彻底扔掉了思维链和语言模型的先验知识，直接把操作当成了下一帧动作预测问题，走的是纯正的世界模型路子，这在工程方向上相当聪明。

对用户和专业创作者来说，这意味着 AI 助手终于可能摆脱「点一下卡三秒」的尴尬，开始胜任连续的专业软件工作。但现在的技术隐患也显而易见：完全基于像素和动作自监督训练，缺乏语言模型的深层逻辑常识，在面对意图理解、复杂弹窗或突发报错时，它的容错率究竟如何，还需要在非确定性场景下打一个问号。我们认为普通用户现在不必急着寻求上手，但这套高效压缩与自监督标注的框架，大概率会逼着大厂重新审视自己的 Agent 训练流水线。