Ai2、HTML不要で画面のみからブラウザを操作する「MolmoWeb」を公開

MolmoWebは、Ai2が公開したオープンウェイトの視覚Webエージェントです。WebページのHTMLやアクセシビリティツリーを解析せず、人間のように画面のスクリーンショットだけを見てブラウザを直接操作します。

これまでWeb操作エージェントを作ろうとすると、中身の見えない商用APIに頼るか、自前の学習済みモデルを持たないオープン枠組みを使うしかありませんでした。MolmoWebはその中間に位置する本格的な選択肢です。

何ができるのか

モデルの規模は4Bと8Bの2種類が用意されています。画面の画像さえあれば動くため、ローカルのChromeやSafariはもちろん、クラウド上のブラウザ環境でも利用できます。

各ステップで、モデルは指示文、現在のスクリーンショット、直前の行動履歴、URLとページタイトルを受け取ります。まず自然言語で思考プロセスを出力し、その後に画面座標のクリック、文字入力、スクロール、タブ切り替えといった具体的な操作を実行します。

Ai2の測定によると、WebVoyager、Online-Mind2Web、DeepShop、WebTailBenchという4つの実サイト評価において、他のオープンウェイト競合を上回るスコアを記録しました。アクセシビリティツリーを併用する従来のGPT-4oベースの手法をも凌ぐとしています。

どう作られたのか

今回の目玉は、モデル本体と同時に公開された学習データセット「MolmoWebMix」です。公開された人間のWeb操作データとしては最大級の規模を誇ります。

中身は大きく3つに分かれます。まず、作業者が専用拡張機能を使って1100以上のサイトで収集した3万件の人手タスク軌跡と59万件のサブタスク実演です。

次に、テキスト中心のシステムを用いて自動生成した合成軌跡です。ここにはOpenAI OperatorやAnthropicのAPIなど他社の商用視覚モデルは一切使われていません。さらに、画面の要素認識を鍛えるためのスクリーンショットQ&Aが220万件以上含まれています。

制約と試す方法

一方で現時点での課題も明示されています。画面上の細かい文字を読み間違えることがあり、ドラッグ＆ドロップ操作はまだ不安定です。また、ログインや金銭取引が必要なタスクでは学習されていません。

試してみたい開発者向けには重みが配布されているほか、Browserbaseのクラウド基盤を利用したデモ環境が用意されています。

なぜ重要か

自社業務の自動化を進めたい企業にとって、内部データを外部APIに送らずに済む点は大きな利点です。4Bや8Bという手頃なサイズ感なら、手元の環境でファインチューニングして動かす現実的な道が開けます。

単にモデルを配るだけでなく、3万件もの実操作軌跡という貴重な学習資産を丸ごとオープンにした意義は重いです。商用APIの独占が続いていたブラウザ自動化の領域に、誰でも検証と改良ができる確かな土台が整いました。