PhonelyがGroqらと連携、音声AIの応答遅延を7割削減し正解率99.2%を達成

電話口で数秒間の不自然な沈黙が流れた瞬間、誰もが「相手は人間ではなく AI だ」と察してしまいます。

AI 電話サポートを手がける Phonely、推論最適化基盤の Maitai、そして高速 AI 半導体メーカーの Groq による共同開発が、この不気味の谷を打ち破りつつあります。

3 社の連携によって応答時間は 70% 以上削減され、会話の正確性は 81.5% から 99.2% へと急上昇しました。これは GPT-4o のベンチマークである 94.7% を上回る数値です。通話者の 70% 以上が、相手が AI であることに気づかなかったといいます。

4 秒の沈黙を消し去るハードとソフトの連携

Phonely の創業者兼 CEO である Will Bodewes 氏によれば、大手 LLM は遅延のブレが非常に大きく、およそ 10 回に 1 回は数秒の不自然な間が発生します。テキストチャットなら気にならなくても、音声通話での 4 秒の沈黙は致命的です。

この課題をクリアしたのが、Groq の「ゼロレイテンシ LoRA ホットスワップ」技術です。軽量な微調整モデル（LoRA）をチップ内の SRAM に直接格納することで、モデル切り替えによる遅延ペナルティを実質ゼロに抑えました。

その上で、Maitai がプロキシ層としてリクエストを監視し、最適なモデルへと動的に振り分けています。会話データの弱点を自動で抽出して追加微調整を施す仕組みも備えています。

結果として、最初の応答が返るまでの時間（TTFT）は 90 パーセンタイル値で 661 ミリ秒から 176 ミリ秒へと 73.4% 短縮され、会話完了までの時間も 339 ミリ秒にまで縮まりました。

なぜ重要か

コンタクトセンター運営において、この成果はすでに具体的な人員削減として現れています。Phonely のある顧客企業は、今月だけで 350 人の人間のオペレーターをこの AI に置き換える計画です。

カスタマーサポートを抱える企業にとって、音声 AI の導入障壁だった「機械っぽさ」と「遅延」はほぼ解消されたと言えます。人間のオペレーターの採用や教育コストに頭を悩ませているなら、検証を始める価値は十分にあります。

業界全体で見れば、GPT-4o のような巨大モデル単体ですべてを解決するアプローチに対し、専用半導体と動的オーケストレーションを組み合わせた特化型アプローチの優位性が証明された形です。

ただし、7 割以上の利用者が人間と信じ込んでしまうレベルに達したことで、AI による自動対応であることを明示すべきという倫理的・規制面のリスクは確実に高まります。また、残された 0.8% のミスが深刻なクレームに発展した際、現場がどうフォローするのかという運用設計も今後の大きな課題になりそうです。