MetaのRay-BanスマートグラスにマルチモーダルAIが追加、目の前の物体を認識可能に

目の前のティーバッグを見つめながら「ノンカフェインのものはどれ」と尋ねると、耳元のスピーカーからカモミールティーだと答えが返ってくる。Metaが第2世代のRay-Banスマートグラス向けに、カメラで視界を捉えて回答するマルチモーダルAI機能のベータ提供を前倒しで開始しました。

当初は2024年の提供と案内されていた機能ですが、限定的なアーリーアクセスとして米国のテスター向けに展開されています。あわせてBingによるウェブ検索機能も追加され、音声アシスタントとしての実用性が引き上げられました。

見て答える、顔の上のカメラAI

使い方はいたってシンプルで、音声で指示を出すとメガネが写真を撮影し、クラウドの生成AIがそれを解析します。

利用時には「Hey, Meta, look and...」と話しかける必要があります。例えば「この食材で作れるレシピを教えて」「この植物の名前は」「写真に面白いキャプションをつけて」といった具合です。

フレーズを口にすると耳元でシャッター音が鳴り、数秒の処理時間を挟んでAIの音声が回答を読み上げます。撮影された画像とAIの回答履歴は、連携するMeta Viewアプリに自動で保存されるため、あとから見返すメモとしても機能します。

常時映像を解析するのではなく、都度写真を撮る仕組みになっている理由はバッテリー消費を抑えるためです。MetaのCTOであるAndrew Bosworth氏は以前、将来は低電力センサーによってAIが自動で状況を認識する形を目指していると語っています。

誤認識と不自然な待ち時間

とはいえ、現在はまだ粗削りな早期ベータ版です。

最も顕著な課題は生成AI特有の幻覚です。フルーツの盛り合わせを見せたテストでは、オレンジやバナナ、ドラゴンフルーツを正しく認識した一方で、存在しないザクロがあると回答しました。

窓辺に置かれた大きなパンダのぬいぐるみに対してキャプションを求めると、「誰かが孤独にスマートフォンを見つめている」といった見当違いな文章を生成することもありました。

また、スペイン語のメニューから辛い料理を抜き出すことはできても、肉料理について尋ねると原文のスペイン語をそのまま読み上げてしまうなど、文脈の維持にもムラがあります。さらにベータ期間中はクエリデータが匿名化された上でモデル改善に利用されるため、プライバシーへの配慮も今後の課題になります。

なぜ重要か

この取り組みにおいて私たちが最も巧みだと感じるのは、Metaが専用の新奇なデバイスではなく、300ドルで店頭に並んでいる既存のアイウェアという形を選んだ点です。服に留める高価なAIピンのような製品と比べ、購入や着用のハードルが圧倒的に低く抑えられています。

現在この機能を目的にメガネを買うべきかといえば、まだおすすめはできません。数秒の待ち時間や定型句の呼び出し、時折生じる誤認識を考えると、実用的な日常ツールというよりは実験的なプレビューに留まっています。

しかし、業界全体にとっては大きな転換点になり得ます。スマートグラスといえば長年、重く電力を食うディスプレイをどう搭載するかが議論されてきました。Metaの試みは、カメラとスピーカー、そして賢いマルチモーダルAIさえあれば、画面がなくても日常の補助デバイスとして成立することを示し始めています。