アップルが「ReALM」発表：画面情報をテキスト化しGPT-4超え

スマホの画面を見ながら「この店に電話して」と話しかけても、画面が見えていない音声アシスタントは困惑するだけでした。

そんな課題を解決すべく、Appleの研究チームが画面上の文脈を理解する新AIシステム「ReALM」を発表しました。

最大の驚きは、パラメータ数がはるかに少ないにもかかわらず、大型モデルの比較においてGPT-4を大幅に上回る性能を叩き出した点です。

画面を「画像」ではなく「テキスト」として読む

通常、AIに画面を見せようとするとスクリーンショットを丸ごと画像認識に回す必要があり、計算負荷が高すぎて端末上では軽快に動きません。

そこでReALMは、画面上のボタンやテキスト、配置関係をすべて自然言語テキストに変換して読み取る手法を取りました。

画面上の要素だけでなくバックグラウンドで動いているタスクも同時に把握できるため、画像認識を使わずに、非常に軽い処理で画面全体の文脈を理解できます。

ベンチマークにおいて、GPT-4にはスクリーンショットをそのまま入力したのに対し、ReALMはテキスト変換データのみで勝負しました。それでも同等以上の精度を記録し、特定タスクではGPT-4を凌駕しています。

未知の領域では両者同等のスコアでしたが、ユーザーの細かな要求に合わせた特定領域の問い合わせでは、ReALMがGPT-4をはっきりと引き離しました。

ただし研究陣によると、極めて複雑な空間的・幾何学的な位置関係の把握が求められる指示については、細部を取りこぼす余地がまだ残されているとのことです。

なぜ重要か

私たちは、ReALMの真の価値は単にGPT-4に勝ったことではなく、スマホの端末内でサクサク動く「画面対応エージェント」の現実解を示したことにあると考えます。

ユーザー目線で見れば、これが将来のSiriに載れば操作感が激変します。ウェブやSNSで見かけた電話番号や住所をコピーする必要はなく、「ここに連絡して」「ここへ行く」と画面を見ながら言うだけで通じるようになります。

業界全体にとっても示唆に富んでいます。先月DarwinAIを買収し、MM1などの基盤モデルも進めるAppleですが、他社が重いマルチモーダル視覚モデルで力押しするなか、画面をテキストに還元するという極めて効率的なアプローチを選びました。

プライバシーを守り、電力を食わず、ローカルで完結させる。Appleが目指しているのは単なるおしゃべりAIではなく、端末を自在に操るための実用的な神経網なのだと見て取れます。