OpenAI、リアルタイム音声モデル3種を提供開始：推論やツール実行に対応

従来の音声アシスタントとの対話では、少し複雑な用件を頼んだ途端に沈黙が続き、処理中なのか回線が切れたのか判別できないもどかしさがありました。

OpenAIは5月7日、API向けに新しいリアルタイム音声モデル群を発表しました。主力となるのはGPT-5クラスの推論能力を備えたGPT-Realtime-2です。さらにリアルタイム音声翻訳モデルのGPT-Realtime-Translate、低遅延ストリーミング文字起こしを行うGPT-Realtime-Whisperも同時に投入されました。

思考しながら自然に相槌を打つ音声AI

GPT-Realtime-2の最大の特徴は、推論処理と発話をスムーズに並行処理できる点です。

ツール呼び出しを行う際、モデルは「少々お待ちください」「カレンダーを確認しています」といった前置きの言葉を自発的に挟みます。複数のツールを同時に実行しながら、ユーザーを沈黙で待たせることなく対話を維持できます。

コンテキストウィンドウは従来の32Kから128Kへと拡張され、長時間のセッションや複雑なタスクでも文脈を見失いません。推論の深さはminimalからxhighまでの5段階で調整可能で、通常時は低遅延なlowがデフォルトとなっています。

性能面では、Big Bench Audioベンチマークにおいて前バージョン比で15.2パーセント向上し、96.6パーセントを記録しました。また指示追従性能も13.8パーセント改善し、専門用語の認識やエラー時の復帰応答も強化されています。

翻訳と文字起こしで完結する音声ワークフロー

対話モデルの周辺を固める2つのモデルも実用性が高い構成です。

GPT-Realtime-Translateは70以上の言語入力を受け付け、13の言語へリアルタイムに音声翻訳して出力します。話者のペースに合わせて遅延なく訳出でき、ドイツテレコムが多言語サポートで検証しているほか、Vimeoが動画のリアルタイム吹き替えへの活用を実演しました。

GPT-Realtime-Whisperは会議字幕や要約のリアルタイム作成を想定した音声認識モデルです。価格はGPT-Realtime-2がトークン課金制（音声入力が100万トークンあたり32ドル、キャッシュ時は0.40ドル、出力が64ドル）で、Translateは1分あたり0.034ドル、Whisperは1分あたり0.017ドルとなっています。

なぜ重要か

開発者にとって、自然で実用的な音声エージェントを構築するハードルが一気に下がりました。

これまでは音声認識、大規模言語モデル、外部ツール連携、音声合成を別々に組み合わせる必要があり、どうしても数秒のラグが発生していました。Zillowが複雑な条件の物件探しと内覧予約を音声で完結させようとしているように、実用的な音声コマースの基盤が整いつつあります。

OpenAIのアプローチで巧みなのは、単なる声のリアルさではなく「考えながら話す」対話設計に踏み込んだ点だと考えられます。ツールの実行状況を声で伝える仕組みは、ユーザーの不安を解消する上で非常に有効です。

一方で、コスト面には注意が必要です。キャッシュが効かない音声入出力トークンはテキストに比べて高価であり、コールセンターのような大規模運用では運用費が跳ね上がります。また、リアルタイム音声は悪用された際の影響が大きいため、OpenAIの安全監視機能にどこまで頼れるかも実運用の課題になります。