ChatGPTが「見て・聞いて・話せる」ように：画像認識と音声対話を追加

テキストを打ち込んで、返答が文字で流れてくるのを待つ。過去数か月の ChatGPT 体験は、良くも悪くもこれに尽きていました。

米 OpenAI は 9 月 25 日、ChatGPT に音声対話と画像認識の新機能を追加したと発表しました。今後 2 週間かけて Plus および Enterprise ユーザー向けに順次提供されます。音声は iOS と Android アプリで利用でき、画像認識はウェブを含む全プラットフォームに対応します。

話せて見せられる AI パートナー

新搭載の音声機能は、電話で話しているような感覚で ChatGPT と自然なラリーができます。わずか数秒の音声サンプルから本物そっくりの合成音声を生成できる新しいテキスト読み上げモデルを採用しており、プロの声優と共同で作成した 5 種類の音声から好みのトーンを選択できます。

音声をテキスト化する認識部分には、同社のオープンソースモデル Whisper を活用しています。この音声技術はすでに Spotify のポッドキャスト翻訳機能の試験運用にも提供されており、配信者自身の声質を保ったまま他言語へ吹き替えるといった用途に使われています。

一方の画像機能は、いわゆる GPT-4 のマルチモーダル化です。写真を 1 枚または複数枚アップロードして質問でき、モバイルアプリ上では特定の部分を指で囲んで注目させることも可能です。

冷蔵庫の中身を撮影して今夜の献立を提案させたり、火がつかないグリルの写真を送って原因を突き止めたり、子どもの算数の宿題を撮影してヒントをもらいながら解かせたりといった日常的な活用が想定されています。

人物認識の制限と残る課題

音声と視覚の獲得は、同時にプライバシーや悪用のリスクを直撃します。

OpenAI は今回、人物の特定や顔に関する直接的な分析・言及を技術的に厳しく制限しました。ハルシネーション（幻覚）による誤認を防ぎ、プライバシーを保護するためです。

視覚障害者支援アプリ「Be My Eyes」との共同研究から、テレビ画面に映った人物などを適度に無視しつつ、目的のリモコン操作を教えるといった実践的なチューニングを重ねたといいます。

ただし限界もあります。英語の文字起こしには強いものの、ローマ字以外の非英語言語（日本語の漢字や仮名、アラビア文字など）の読み取り精度はまだ低く、公式ブログでもそうした用途での過信を避けるよう注意を促しています。

なぜ重要か

私たちは、今回のアップデートが ChatGPT にとってテキストチャットの枠を打ち破る最大の転換点になると考えています。

ユーザーにとっての価値は、日常の「言語化コスト」がゼロになる点です。家電のエラー表示や壊れた自転車の部品など、言葉で説明しづらいトラブルでも、写真を撮って「これどう直すの？」と声で聞くだけで済みます。文字入力に慣れていない層にとっても、AI が一気に身近な道具になります。

業界全体で見れば、テキスト特化型ボットの競争軸はこれで過去のものになりました。DALL-E 3 の発表に続き、視覚と聴覚を単一アプリに統合したことで、Google の次世代モデル Gemini を迎え撃つ体制が完全に整った形です。

音声クローンを全面開放せず安全なプリセット音声に絞り、人物の顔認識に厳しいブレーキをかけた OpenAI の判断は、極めて現実的で賢明に見えます。悪用リスクを理由に公開を渋るのではなく、ガードレールを固めて有料ユーザーから素早く実戦投入していく姿勢が、同社の製品開発のスピード感を支えています。