GoogleがGPT-4o対抗のマルチモーダルAIを予告、カメラで周囲をリアルタイム認識

OpenAIが音声や視覚に対応したGPT-4oを発表してからわずか数時間後、Googleが即座に対抗の動きを見せました。

Googleは開発者会議「Google I/O 2024」の開幕を控えたタイミングで、未公開のマルチモーダルAIインターフェースを動かしている予告動画をXに投稿しました。

カメラをかざすだけで周囲を理解するAI

公開された動画では、Pixelのカメラアプリに似たインターフェースがAndroid端末上で動作しています。

撮影者がスマートフォンのカメラを周囲の風景に向けると、そこは設営作業が進むGoogle I/Oのステージでした。

AIはイベントの準備中であることを即座に見抜き、さらにGoogle I/Oのロゴを認識して、その開発者イベントの詳細を音声で解説しました。

これまでもGeminiは音声入力や静止画像、スクリーンショットの解析に対応していましたが、今回はカメラの映像を通じて周囲の状況をリアルタイムに把握しています。

これはHumane AI PinやRabbit R1といった専用デバイスが目指していた体験を、手元のスマートフォンでそのまま再現するようなアプローチです。

ただし、これが録画されたデモである点には注意が必要です。機能がGeminiに統合されるのか、あるいは別アプリになるのかも含め、詳細はI/Oの基調講演で明かされる見込みです。

なぜ重要か

OpenAIがGPT-4oで先行したように見えたリアルタイム音声・視覚対話ですが、Googleもほぼ同じ準備を整えていたことがわかります。

ユーザーにとっての価値は、AIを使う手順が劇的に減ることです。写真を撮ってチャットボットにアップロードする手間がなくなり、ただカメラを向けて話しかけるだけで済むようになります。これがAndroidに標準搭載されれば、わざわざ新しいハードウェアを買う理由は薄れます。

業界全体から見れば、AIの主戦場はテキスト生成から「端末のカメラとマイクを常に使った対話」へ移りました。OpenAIがモデルの柔軟さで先行しても、Googleには世界中に普及しているAndroidという巨大な配信網があります。

とはいえ、現時点で両社が見せているのは入念に調整されたデモ映像に過ぎません。カメラの常時映像処理と音声合成を、スマートフォンの発熱やバッテリーを犠牲にせずに日常で使えるのか、私たちは慎重に見極める必要があると考えています。