ElevenLabsが対話型AIエージェント作成機能を提供：主要LLMと連携可能

これまで音声対話 AI を作ろうとすると、音声認識で文字起こしし、LLM に判断させ、音声合成で発話させ、さらに「相槌や割り込み」の判定コードを自前で組むという骨の折れる作業が必要でした。

高品質な音声生成で知られる ElevenLabs は、この面倒なパイプラインをまるごと引き受ける決断を下しました。同社は開発者プラットフォーム上で、会話型 AI エージェントを直接構築できる新機能を公開しました。

面倒なパイプラインをワンストップ化

ElevenLabs のグロース責任者 Sam Sklar 氏が TechCrunch に明かしたところによると、既存顧客の多くがすでに同社の音声を対話ボットに組み込んでいました。しかし、社内ナレッジの連携や、人間の発話を検知して AI の発話を止める「割り込み処理」に多くの開発者が苦戦していたといいます。

そこで同社は、テンプレートから数分でエージェントを立ち上げられる環境を用意しました。初回メッセージやキャラクター設定のほか、頭脳となる LLM には Gemini、GPT、Claude を自由に選択でき、自前のカスタム LLM の接続にも対応しています。

ファイル、URL、テキストブロックを読み込ませて自社知識を持たせられるほか、顧客の名前やメールアドレスを抽出する条件設定、通話が成功したかどうかを自然言語で評価する機能も備えています。SDK は Python、JavaScript、React、Swift に対応し、WebSocket API も提供されます。

密かに開発された音声認識と競合の構図

対話を実現するため、ElevenLabs はこれまで手掛けていなかった音声認識（STT）技術を自社開発しました。

現時点では文字起こし単体の API としては提供されていませんが、将来的な単体提供も視野に入れているとしています。もし実現すれば、OpenAI の Whisper や Deepgram、大手クラウド各社と正面からぶつかることになります。

30 億ドル以上の評価額での資金調達を目指しているとされる同社ですが、足元では Vapi や Retell などの音声系スタートアップに加え、OpenAI の Realtime API と直接対峙することになります。ElevenLabs は、モデルを自由に乗り換えられる柔軟性と細かな音声制御を武器に勝機を見出しています。

なぜ重要か

私たちは、ElevenLabs が「単なる声のパーツ屋」から「会話インターフェースのプラットフォーム」へと見事に脱皮を図ったと評価しています。

カスタマーサポートや架電業務、ゲーム内の音声キャラクターを作りたい開発者にとって、試す価値は十分にあります。発話の割り込みや遅延の調整といった泥臭い音声エンジニアリングをスキップし、ナレッジとプロンプトの調整だけに集中できる恩恵は絶大です。

一方で、構造的な課題も残ります。OpenAI などが推進するネイティブ音声モデルが端から端までを低遅延でこなすのに対し、ElevenLabs の手法は音声認識、LLM、音声合成を順に繋ぐパイプライン構造です。どれだけ高速化しても、ステップ間のレイテンシは無視できません。

それでも、特定モデルに依存しない中立的なスタンスは非常に巧妙です。Claude が進化すれば Claude に切り替え、機密データは自社 LLM で処理するといった柔軟性は、巨大モデル企業には真似しにくい実用的な強みと言えます。