跳到正文
IFAI

AI工具

ElevenLabs 開源 X to Voice:分析 X 賬號生成專屬音色

首次發布 傳播指數 52

上週,ElevenLabs 推出開源專案 X to Voice 並上線 Voice Design API。輸入任意 X 使用者名稱,系統會自動分析其簡介與發帖風格,生成對應提示詞與 3 個音色樣本,還能讓頭像對嘴型朗讀。開發者也能直接呼叫 API 為 AI 角色定製聲音。

ElevenLabs 開源 X to Voice:分析 X 賬號生成專屬音色
圖:x.com

X to Voice 是 ElevenLabs 剛開源的一個實驗專案,只要輸入一個 X(原 Twitter)賬號名,它就能分析該主頁的簡介和發帖風格,自動為你捏出一套專屬的 AI 音色。

它能做什麼

你只需要提供一個 X 平臺的使用者名稱,系統就會自動抓取並分析賬號的個人簡介和歷史發帖。

基於這些文字內容,它會先提煉出一段描述聲音特質的提示詞,涵蓋音高、音色、語速和抑揚頓挫等細節,再把這段提示詞傳給 ElevenLabs 剛推出的 Voice Design 模型。

據 Gadgets 360 實測,整個分析與生成過程大約需要 30 秒到 1 分鐘。最終頁面會給出 3 個不同的音色預覽樣本,並且朗讀一句根據該賬號畫像定製的臺詞,同時展示生成時所用的提示詞。

如果賬號頭像是一張清晰的面部特寫,它還會把頭像處理成動態影片,讓嘴型和麵部動作精準配合正在唸出的臺詞。

怎麼用以及開發者能做什麼

專案已經在網頁端提供了試用,程式碼也已經開源。

除了這個演示專案,ElevenLabs 還同步上線了底層 Voice Design 功能的 API。開發者可以通過兩個核心端點呼叫這項能力:一個用於根據文本描述生成 3 個獨特的音色預覽,另一個用於把選中的音色儲存到個人庫中以便後續呼叫。

這意味著開發者不再侷限於分析社交主頁,可以直接在自己的應用、遊戲 NPC 或 AI 智慧體裡整合按需生成音色的功能。

不過,ElevenLabs 目前還沒有公開該 API 的具體計費方式或單次請求成本,底層模型的具體技術細節也暫未披露。

為什麼重要

以往想要定製專屬聲音,要麼需要上傳幾分鐘清晰的真實人聲錄音來克隆,要麼得自己絞盡腦汁去調各種聲學引數。X to Voice 聰明的地方在於,它用社交網路上現成的公開表達當作人設藍本,直接跳過了繁瑣的手動調參。

對於想給 AI 伴侶、獨立遊戲角色快速賦予人設聲線的開發者來說,這是一個現成且低門檻的方案。我們認為只要後續 API 定價合理,這種基於人格畫像一鍵生成音色的做法,會很快成為虛擬角色開發裡的標配工具。

來源 (2)

  1. [1]
    @elevenlabsio(在新分頁開啟)原文twitter.com
  2. [2]

每日 AI 內容精選