Standard IntelligenceがFDM-1発表、画面動画で学ぶ操作モデル

PCを自律操作するAIエージェントの開発は、これまで大きな壁に突き当たっていた。人間が作業した画面のスクリーンショットを1枚ずつ用意し、クリック箇所を外注でラベル付けして大規模マルチモーダルモデル（VLM）に学習させる手法が主流だったが、コストが膨大な上に、記憶できる文脈は数秒程度にとどまっていたからだ。

スタートアップのStandard Intelligenceは2月23日、1100万時間もの画面録画データから学習したPC操作のための基底モデル「FDM-1」を発表した。静止画ではなく動画を直接入力し、キーボード打鍵やマウスの連続操作を予測する。

2時間の動画を100万トークンに圧縮

動画をそのままAIに見せる際、最大の障害となるのがトークン消費量だ。従来のVLMで30FPSの動画を処理しようとすると、わずか1分間の映像で100万トークンを消費してしまう。

同社はこの問題を解決するため、独自の動画エンコーダーを開発した。発表によると、30FPSの動画約2時間をわずか100万トークンに圧縮可能だという。これは先行する最高水準と比べて約50倍、OpenAIがMinecraft操作エージェントの研究（VPT）で用いたエンコーダーと比べても100倍効率的とされる。学習の収束速度も一般的なVision Transformer（ViT）より約100倍高速化した。

この設計により、3万2000トークンの文脈長でも約3分30秒、100万トークンなら1時間40分にわたる画面履歴を保持できる。CAD設計や財務モデリングなど、長時間の文脈把握が不可欠な作業への道が開かれた格好だ。

逆ダイナミクスでネット上の動画を教材化

ネット上にはプログラミング配信などの録画が膨大にあるが、マウスやキー入力のログが存在しないため、そのままでは学習データにならない。現在公開されているPC操作のデータセットは、最大のものでも30FPS動画で20時間未満にすぎない。

Standard Intelligenceは、まず4万時間分の手動アノテーション付き録画を用いて「逆ダイナミクスモデル（IDM）」を訓練した。画面の前後の変化から「ユーザーがどのキーを押し、マウスをどう動かしたか」を逆算して推測する仕組みだ。コピペのような時間差のある動作に対応するためマスク型拡散モデルを採用し、人間によるラベル付けと同等レベルの精度を実現したという。

このIDMを使って1100万時間の動画に操作ラベルを自動付与し、そのデータ上で次の操作を予測する「順ダイナミクスモデル（FDM-1）」を自己回帰的に事前学習させた。思考の連鎖（CoT）や外部ツールを介さず、映像から直接操作を予測する。検証基盤も大規模で、8万台の仮想マシンを展開し、1枚のH100 GPUで42台のUbuntu環境を並行制御しながら、1時間あたり100万回以上のテストを走らせている。

なぜ重要か

現在のコンピュータ操作エージェントが抱える構造的な弱点に対し、FDM-1は極めて合理的な別解を提示したと考える。

大手各社のアプローチは「静止画を撮り、言語モデルで思考し、ツールを叩く」という手順を踏むため、遅延が大きく、Blenderでのドラッグや画面スクロールのような連続的・動的な動作がほとんど扱えなかった。FDM-1が言語モデルの事前知識を排し、純粋な動画予測・物理ダイナミクスとしてPC操作を捉え直した点は非常にスマートだ。

ユーザー視点では、CADや映像編集といったプロ向け作業の自動化に現実味が帯びてくる。ただし、思考モデルを持たない分、予期せぬエラーダイアログが出た際や文脈の意図を汲み取る場面でのロバスト性には疑問が残る。一般ユーザーが今すぐ触れる段階ではないが、この圧倒的な動画圧縮効率と自律データ生成の枠組みは、大手AIラボの開発方針にも小さくない刺激を与えるはずだ。