ElevenLabs 上線影片生成音樂功能:一鍵為畫面配樂
ElevenLabs 在 ElevenLabs Studio 中推出 Video-to-Music 工作流。藉助其 Eleven Music 模型,使用者只需一鍵就能基於影片畫面內容生成定製配樂,還能直接在 Studio 內疊加配音與音效。影片創作者做後期音訊更省事了。
ElevenLabs 在 ElevenLabs Studio 中推出 Video-to-Music 工作流。藉助其 Eleven Music 模型,使用者只需一鍵就能基於影片畫面內容生成定製配樂,還能直接在 Studio 內疊加配音與音效。影片創作者做後期音訊更省事了。
ElevenLabs 宣佈支援將真實樂器錄音與 Eleven Music 生成的 AI 音軌融合成混合歌曲。團隊在演示中展示了僅靠單次提示詞,將現場實錄的鋼琴演奏與 AI 生成的小提琴及人聲混音成曲。
ElevenLabs 推出 AI 音樂生成模型 Eleven Music,正式從語音擴充套件到音樂製作,並宣稱已掃清商用合規障礙。為避開 Suno 和 Udio 遭遇的侵權官司,團隊已與 Merlin 和 Kobalt 兩大獨立音樂版權平臺簽約,由音樂人自願授權作品用於訓練並參與分成。
Yelp 在 iOS 應用全美上線 AI 生成的餐廳短影片。系統利用 OpenAI 撰寫解說指令碼、ElevenLabs 生成旁白配音並自動拼接使用者的真實圖文。不過商家目前無法提前預覽,普通使用者也暫不能禁止自己的照片被選用。
ElevenLabs 為 Eleven v3 推出音訊標籤功能,讓創作者直接在臺詞中插入標籤控制語速、停頓和重音。比如寫上 [pause]、[rushed] 或 [stammers],AI 就會配合改變停頓與語氣。不過目前該功能對專業聲音克隆(PVC)支援尚不完善。
ElevenLabs 推出文本轉語音模型 Eleven v3 的 Alpha 測試版本,進一步提升語音的情感表達與上下文感知能力。模型支援 70 多種語言與單次最高 5000 字元輸入,並引入音訊標籤來直接控制耳語、笑聲等情緒語氣。這意味著創作者無需專業配音演員,就能生成富有情緒起伏的多語言角色對話。
CB Insights 資料顯示語音 AI 初創公司去年吸金 21 億美元,同比飆升 8 倍。得益於 OpenAI Realtime API 與 ElevenLabs 等全雙工模型突破,語音延遲和成本大幅降低,餐廳和醫院已開始大規模用它接聽訂單與熱線,客戶幾乎難辨真假。
ElevenLabs 宣佈在 Conversational AI 平臺接入 Anthropic 的 Claude Sonnet 4 模型。新模型主打複雜指令遵循與極低延遲,能在即時語音中保持長上下文記憶並穩定呼叫外部工具。開發者在控制台選擇該模型後,即可通過單行程式碼部署更自然的語音智慧體。
ElevenLabs 宣佈為 Conversational AI 平臺引入文本與語音多模態支援。AI 智慧體現在可以同時接收並處理說話與打字輸入,使用者在同一場對話中既能口頭交流,也能在輸入郵箱、卡號等易錯資訊時切換為文字輸入,以此降低純語音互動的識別錯誤率。
ElevenLabs 為 Conversational AI 平臺上線批次外呼功能。使用者可上傳表格匯入聯絡人並注入動態變數,藉助 Twilio 或 SIP 線路同時併發撥打數百通個性化語音電話,用於通知提醒或問卷調查,支援 API 呼叫及即時監控。
ElevenLabs 推出 SB-1 Infinite Soundboard。使用者輸入幾句文字即可用 AI 生成自定義音效,支援多音效同時播放與迴圈,可儲存預設用於遊戲和 Discord 直播。這讓創作者告別了翻找音效素材庫的繁瑣操作。
ElevenLabs 宣佈 Conversational AI 支援在智慧體之間無縫轉接通話。企業內不同團隊可以並行開發專屬 Agent,各自搭載獨立的知識庫與工具。這意味著複雜的企業語音流程不用再塞進一個大雜燴模型,分工協作更清晰。
ElevenLabs 釋出官方 MCP 服務端,支援接入 Claude Desktop、Cursor 和 Windsurf。開發者在對話介面就能直接讓 AI 生成語音、克隆聲音或轉錄音訊,還提供了無需本地部署的託管版。
ElevenLabs 宣佈在 Studio 中面向所有使用者上線 Actor Mode。使用者可以直接用自己的聲音來指導 AI 聲音的語調、節奏和情緒走向。最值得關注的是,這讓創作者不僅能選音色,還能當「導演」精細調教臺詞演出了。
ElevenLabs 宣佈將其語音轉文字模型 Scribe 的大規模呼叫價格下調 45%,並在 4 月 9 日前通過網頁 UI 提供免費試用。官方稱該模型支援 99 種語言。這意味著多語言音訊轉寫的大規模使用成本明顯降低。
ElevenLabs 宣佈與 Google Cloud 達成合作,其語音 AI 模型現已上架 Google Cloud Marketplace。企業能直接結合 Gemini 2.0 Flash 打造低延遲的對話智慧體與多語言配音,無需漫長採購即可在雲端規模化部署。
德國電信宣佈與 ElevenLabs 達成戰略合作,將其 Gen FM 技術接入 Magenta AI 應用。使用者能在幾秒內把新聞文章轉成高質量沉浸式播客,或按提示詞定製音訊內容。德國電信同時參投了 ElevenLabs 的 C 輪融資,未來計劃將語音能力擴充套件至更多服務。
ElevenLabs 宣佈在其 Conversational AI 平臺接入 Claude 3.7 Sonnet。開發者現在可以結合該模型的混合推理能力與擬真語音,構建幻覺更少、長對話表現更穩的客服與虛擬導師 Agent。
ElevenLabs 推出首個語音轉文字模型 Scribe。該模型支援 99 種語言轉錄,提供詞級時間戳、說話人分離及笑聲等非語音事件標記,基準測試表現超過 Whisper Large V3。目前已開放 API 和網頁端,低延遲即時版本即將上線。
Hume AI 推出語音大模型 Octave,主打讓 TTS 真正理解文本語境。它能推斷臺詞裡的反諷與恐懼,自動調整音調與節奏,還支援用提示詞定製音色與表演指令。盲測中其音質與自然度評分均超過 ElevenLabs。