相手を数秒見つめるだけ、騒音下で特定の話者の声だけを抽出するAIヘッドホン

周囲の騒音を一瞬で消し去るノイズキャンセリング技術ですが、雑踏の中で「特定の人の声だけを聞く」ことはいまだに困難です。AirPods Proなどの会話感知機能も、会話が始まったこと自体を検知するだけで、誰の声を通すかまでは選べません。

ワシントン大学の研究チームは、話している相手を3〜5秒見つめるだけで、その人の声だけをリアルタイムで抽出するAIシステム「Target Speech Hearing」を開発しました。

成果は5月14日にホノルルで開催されたACM CHIで発表され、概念実証デバイスのコードも公開されています。現時点で製品化はされていません。

一度見つめれば、背を向けても追尾する

仕組みは直感的です。市販のヘッドホンにマイクを取り付け、相手が話している方向に顔を向けてボタンを1回押します。

相手の声が左右のマイクへ同時に届くことで照準を合わせる設計で、16度程度のズレなら問題ありません。データは内蔵の小型コンピュータに送られ、機械学習がその人の声の特徴を素早く学習します。

登録が完了すると、周囲の他人の話し声や環境音はすべて打ち消され、ターゲットの話者の声だけがイヤホンから流れます。

驚くべきは、一度登録してしまえば相手に背を向けたり、歩き回ったりしても追跡が続く点です。相手が話し続けるほどデータが蓄積され、声の明瞭度はさらに向上します。

被験者21人を対象としたテストでは、未加工の音声と比べて明瞭度が平均で約2倍に向上したと評価されました。

騒がしい飲み会での活用と現在の壁

チームは以前、鳥の声や特定の環境音カテゴリだけを選んで聴く「セマンティック・ヒアリング」を発表していました。今回はそれを個人の声の特定にまで進化させた形です。

ただし、現状ではいくつかの制約があります。一度に登録できる話者は1人だけで、複数人のグループ会話には対応していません。

また、ターゲットと同じ方向から別の大きな声が聞こえている場合、登録に失敗することがあります。声の品質に満足できない場合は、再度ボタンを押して登録し直す必要があります。

研究チームは今後、このシステムを一般的な完全ワイヤレスイヤホンや補聴器に組み込めるよう小型化を進める予定です。

なぜ重要か

この研究は、オーディオデバイスの進化において極めて自然で実用的な方向性を示していると考えられます。単に外音を遮断する時代は終わり、これからは必要な情報だけを選択的に通す時代に入ります。

最も大きな恩恵を受けるのは、難聴を抱える人々や補聴器ユーザーでしょう。従来の補聴器は周囲の騒音まで一括で増幅してしまう課題がありましたが、この技術なら騒がしいレストランでも目の前の相手とストレスなく会話できるようになります。

また、アップルやソニーなどの大手メーカーにとっても、今後の次世代イヤホン開発における重要なヒントになります。ノイズ低減のデシベル数を競う段階から、エッジAIによる聴覚拡張へと競争の軸が移るはずです。

もっとも、現段階では外部コンピュータが必要であり、イヤホンの極小バッテリーとチップだけで遅延なくモデルを動かすには、まだ越えるべきハードルが残されているように見えます。