ChatGPTベータ版コードから「ライブカメラ」機能が発覚、音声モードに視覚追加か

約半年前にOpenAIがデモで披露した、AIがカメラ越しに犬とリアルタイムに対話する様子を覚えているだろうか。長らく音沙汰がなかったあの視覚機能が、ようやくコードの中に姿を現した。

Rowan Cheung氏がXで明かしたところによると、ChatGPTの最新ベータ版「v1.2024.317」のコードから「Live Camera」に関する記述が発見された。高度な音声モード（Advanced Voice Mode）にいよいよ「目」が備わる可能性が出てきた。

音声モードに「目」が加わる

見つかったコードには、ライブカメラ機能、リアルタイム処理、音声モードとの統合、そして視覚認識機能が含まれているという。

写真を撮って送信する従来の手間を省き、スマホのカメラを向けたまま、見えているものについてAIと声で自然に会話できるようになる仕組みだ。OpenAIは5月のデモで、カメラに映った犬とリアルタイムにやり取りする様子を公開していた。

なぜ重要か

私たちは、この視覚機能が加わって初めて、マルチモーダルAIが真価を発揮すると考えている。家電の修理手順を画面越しに教えてもらったり、街歩きのガイドをしてもらったりと、日常生活での利用シーンが一気に広がるからだ。

ただし、現時点ではベータ版の内部コードに見つかった段階であり、OpenAIからの公式な提供時期は明らかにされていない。高解像度の映像ストリームをリアルタイムで遅延なく処理し続けるのは計算資源の負荷が非常に高いため、一般提供に耐えうるインフラを確保できるかが今後の課題になりそうだ。