스탠다드 인텔리전스, 1100만 시간 화면 영상 학습한 FDM-1 공개

지금까지 AI에게 컴퓨터 사용법을 가르치는 방식은 비효율의 연속이었다. 외주 작업자가 일일이 화면 캡처에 클릭 위치를 라벨링하고, 이를 시각언어모델(VLM)에 먹이는 방식이 표준이었기 때문이다. 비용이 천문학적으로 드는 데다, AI가 기억할 수 있는 맥락은 기껏해야 몇 초 수준에 불과했다.

AI 스타트업 스탠다드 인텔리전스(Standard Intelligence)는 2월 23일, 1100만 시간의 화면 녹화 영상으로 훈련한 컴퓨터 행동 파운데이션 모델 'FDM-1'을 공개했다. 단편적인 스크린샷 대신 연속된 비디오를 직접 학습해 키보드와 마우스 조작을 예측하는 방식이다.

2시간 분량 비디오를 100만 토큰으로 압축

비디오 기반 에이전트의 최대 걸림돌은 토큰 소모량이었다. 기존 VLM은 30 FPS 영상 고작 1분을 처리하는 데 100만 토큰을 소진한다. 이래서는 몇 분 이상 이어지는 복잡한 컴퓨터 작업을 가르치는 게 불가능했다.

개발진은 자체 비디오 인코더를 설계해 이 문제를 풀었다. 발표에 따르면 이 인코더는 30 FPS 비디오 약 2시간 분량을 단 100만 토큰으로 압축한다. 기존 최고 기술 대비 토큰 효율이 50배 뛰어나며, 오픈AI의 마인크래프트 에이전트 연구(VPT)에 쓰인 인코더보다는 100배 효율적이다. 일반적인 비전 트랜스포머(ViT) 대비 학습 수렴 속도도 약 100배 빠르다.

이를 통해 3만 2000 토큰 문맥에서도 3분 30초, 100만 토큰 창에서는 1시간 40분 분량의 화면 맥락을 끊김 없이 유지할 수 있게 됐다. CAD 설계나 금융 분석처럼 긴 호흡이 필요한 전문 작업의 학습 기반이 마련된 셈이다.

역동역학 모델로 인터넷 영상 자동 라벨링

인터넷에는 수많은 코딩 방송과 편집 영상이 쌓여 있지만, 마우스 좌표나 키 입력 로그가 없어 학습 데이터로 쓸 수 없었다. 기존 오픈소스 컴퓨터 액션 데이터셋이 20시간 미만에 불과했던 이유다.

스탠다드 인텔리전스는 3단계 학습법을 고안했다. 우선 4만 시간의 외주 라벨링 영상으로 화면 변화를 보고 역으로 인간의 입력을 추정하는 '역동역학 모델(IDM)'을 훈련했다. 복사-붙여넣기처럼 전후 맥락을 봐야 알 수 있는 입력을 잡기 위해 마스크 확산 아키텍처를 도입했고, 이를 통해 1100만 시간의 방대한 비디오에 키 입력과 마우스 궤적 라벨을 자동으로 입혔다.

이렇게 구축된 데이터 위에서 FDM-1(순동역학 모델)이 다음 행동을 예측한다. 생각의 사슬(CoT) 추론이나 외부 도구 호출 없이 영상 프레임과 행동 토큰을 직결해 지연 시간을 크게 줄였다. 마우스 이동은 화면 비율에 맞춘 49개의 지수형 구간으로 나누어 정밀도와 효율을 동시에 잡았다. 테스트 인프라도 거대해서, H100 GPU 1대로 가상 데스크톱 42대를 동시 구동하며 시간당 100만 회 이상의 실행 검증을 진행한다.

왜 중요한가

우리는 FDM-1이 기존 대형 IT 기업들의 컴퓨터 에이전트 개발 공식에 묵직한 물음표를 던졌다고 본다.

현재 앤스로픽이나 오픈AI 등은 대형언어모델을 기반으로 '캡처 화면 확인, 추론, 도구 호출'의 단계를 거친다. 반응 속도가 느리고, 3D 모델링 도구 조작이나 빠른 웹 스크롤 같은 연속 동작은 사실상 불가능했다. 언어모델의 사전 지식에 의존하지 않고 컴퓨터 사용을 순수한 영상 행동 예측 문제로 풀어낸 접근은 대단히 영리하다.

엔지니어링이나 금융, 디자인 업계 사용자로서는 마침내 실질적인 동료 역할을 해줄 AI 에이전트의 가능성을 보게 됐다. 다만 약점도 뚜렷하다. 복잡한 추론 엔진을 덜어낸 만큼, 소프트웨어 업데이트로 UI가 바뀌거나 돌발 에러 창이 떴을 때 유연하게 대처할 수 있을지는 아직 미지수다. 당장 일반 사용자가 써볼 수 있는 도구는 아니지만, 50배 높은 비디오 압축 효율과 자동 라벨링 파이프라인은 업계의 에이전트 학습 기준을 완전히 바꿔놓을 잠재력이 있다.