ElevenLabsが「X to Voice」公開、Xのアカウントから固有音声を生成

ElevenLabsが公開したオープンソースプロジェクト「X to Voice」は、X（旧Twitter）のアカウント名を入力するだけで、その人物の投稿スタイルに合わせた固有のAI音声を自動生成するツールだ。

何ができるのか

Xのユーザー名を入力すると、システムがプロフィール文や過去の投稿内容を自動で取得・分析する。

その分析結果をもとに、声の高さや音色、話すスピード、抑揚などを指定したテキストプロンプトを自動作成し、同社が提供するVoice Designモデルへと渡す仕組みだ。

Gadgets 360のテストによると、プロセスの所要時間は30秒から1分程度だという。プロフィールの特徴に合わせた専用のセリフを話す3種類の音声サンプルが生成され、プロンプトの内容も画面に表示される。

アイコン画像に顔のアップ写真が使われている場合、音声のセリフに合わせて唇や口元がリアルタイムに動くリップシンクアニメーションも自動生成される。

仕組みと開発者向けの機能

X to VoiceはWebクライアント上で試せるほか、コードもオープンソースとして公開されている。

さらにElevenLabsは、基盤となるVoice Design機能のAPIも同時に提供を開始した。テキストプロンプトから3つの音声プレビューを生成するエンドポイントと、気に入った音声をライブラリに保存するエンドポイントの2つが用意されている。

開発者はSNSアカウントに頼らずとも、このAPIを使ってゲームのNPCやAIエージェント、バーチャルキャラクターの音声を動的に生成できる。

ただし現時点では、APIの利用料金や1リクエストあたりのコスト、モデルの詳細仕様などは公表されていない。

なぜ重要か

これまでのカスタム音声作成は、クリアな生音声データを集めてクローンするか、専門的な音響設定を手動で詰める必要があった。X to Voiceは公開されている投稿履歴を人物像の設計図として使うことで、面倒なパラメータ調整を丸ごと省いている。

個性的なAIアシスタントやNPCをすばやく試作したい開発者にとって、すぐに参考にできる実用的なアプローチだ。あとはAPIの提供価格が手頃であれば、キャラクター音声の制作現場で有力な選択肢になりそうだ。