Hume AI、音声の感情や特徴を直接判定する「Audio Decision API」公開

カスタマーサポートの電話で最も重要な兆候は、顧客の発した言葉そのものではなく、受話器越しの長いため息や気まずい沈黙であることが少なくありません。

しかし、これまでの音声AIや品質管理ツールの多くは、音声をまずテキストに変換していました。文字に起こしてしまえば、「大丈夫です」という言葉が心からの納得なのか、怒りを押し殺したものなのかを判別することは不可能です。声に含まれていたはずの感情は、テキスト化の段階でごっそり捨てられていました。

感情科学の研究で知られるHume AIは「Audio Decision API」を発表しました。テキストを介さず、生の音声データから直接問いに答える新しい仕組みです。

JSON一行で「顧客は苛立っているか」を判定

これまでコールセンターの評価基準を変更しようとすると、新しいルーブリックの作成、パイプラインの再構築、ラベル付けなどに数日から数週間を要していました。

Audio Decision APIのアプローチは極めてシンプルです。生の音声を入力し、知りたい質問と選択肢を定義するだけで、構造化された確率スコアが即座に返ってきます。追加のモデル再学習や事前ラベル付けは不要で、JSONを一行書き加えるだけで新しい質問を追加できます。

質問形式は4種類に対応しています。顧客が苛立っているかを判定する「Yes/No」、対応者のトーンを分類する「複数選択」、忍耐強さなどを数値化する「スケール評価」、そして笑い声やため息が発生した開始・終了時刻を特定する「スパン検出」です。背景のサイレン音、話者の人数、さらには音声がAI生成によるものかどうかといった音響的な事実も同時に検出できます。

4万件の録音を数分で検索

このAPIの大きな武器はその処理速度です。

通話中に数秒おきに何十もの質問を投げかけられるだけでなく、4万件の録音アーカイブをわずか数分で検索可能だと同社は説明しています。「顧客が強い不満を示した通話」を、文字起こしを挟まずに音声そのものの特徴から直接拾い出すことができます。

モデルの基盤底盤には、人間が音声や感情をどう知覚するかに関する数千万件の判断データが使われています。評価テストにおいて、このモデルは人間の専門家パネルの平均判断と70.7%の一致率を記録しました。これは単独の人間の評価者ベースラインである56.5%を大きく上回る数値です。Hume AIによると、既存の音声処理手法と比較して、精度・速度・コストの3点で優位性があるとしています。

現在、アクセス権を求めるウェイトリストの受付が始まっており、プレイグラウンド上でファイルのアップロードやリアルタイムの動作テストが可能です。

なぜ重要か

Hume AIのやり方は、重厚な生成AIと硬直的な分類器の間にある実用的な隙間をうまく突いたと評価できます。

自由記述で音声の様子を説明させる生成モデルは、判断を下すためのロジックに組み込むには遅く、コストもかさみます。Audio Decision APIは判定結果を確率の数値として返すため、システム連携が非常に容易です。苛立ちのスコアが閾値を超えたら即座に人間のオペレーターに交代させるといったルールを、低遅延かつ低コストで実装できます。

ボイスエージェントを開発しているチームにとっても、見過ごせないアップデートです。テキストだけを入力とする従来のエージェントは、沈黙の意味や皮肉のニュアンスを理解できず、機械的で苛立たしい受け答えになりがちでした。音声の情緒データをテキストと並行してLLMに渡せるようになれば、応答の質は目に見えて自然になります。

一方で懸念されるのは、文化や方言による知覚のズレです。声のトーンの捉え方は地域や言語圏によって大きく異なります。ベンチマークで高い数値を記録していても、自社の顧客層において誤判定が起きないか、業務に導入する前に丁寧な検証が必要になるでしょう。