ElevenLabs 獲 8000 萬美元 B 輪融資:上線配音工作臺,聲音也能變現
ElevenLabs 宣佈完成 8000 萬美元 B 輪融資,躋身獨角獸。公司同步推出支援整部電影翻譯與製作的 Dubbing Studio,以及允許創作者出租 AI 克隆聲音獲利的交易市場。此外,移動端朗讀應用也已開啟內測排隊。
ElevenLabs 宣佈完成 8000 萬美元 B 輪融資,躋身獨角獸。公司同步推出支援整部電影翻譯與製作的 Dubbing Studio,以及允許創作者出租 AI 克隆聲音獲利的交易市場。此外,移動端朗讀應用也已開啟內測排隊。
三星釋出 Galaxy S24 系列手機,全面整合 Google AI 能力。新機結合端側 Gemini Nano 與雲端模型,支援即圈即搜、即時通話翻譯和生成式圖片編輯。這標誌著端雲混合 AI 首次大規模落地主流旗艦手機,新機定於 1 月 31 日開售。
Adobe 為 Premiere Pro 帶來新音訊工作流。新版能用 AI 自動給音訊分類打標籤,並提供互動式淡入淡出滑塊;去年 9 月測試的「人聲增強」也將在 2 月向所有使用者開放,能一鍵消除嘈雜背景噪音。
週日晚,巴基斯坦前總理伊姆蘭·汗的政黨釋出了一段 4 分鐘的競選影片,利用 ElevenLabs 的 AI 聲音克隆技術復刻其聲音,為身在獄中的他舉行線上集會。音訊基於其親筆筆記,集會吸引超 50 萬人觀看,巴基斯坦當局隨後封鎖了主要社交平臺。
Meta 開放音訊生成基礎研究模型 Audiobox 的試用 Demo。該模型支援零樣本語音合成(Zero shot TTS)、文本生成音效以及音訊修復填充(Infilling)等能力,現在即可直接線上體驗。
Meta 公佈全新語音翻譯系統 Seamless,包含兩大模型:延遲僅約兩秒的流式翻譯 SeamlessStreaming,以及能保留語速、節奏與情緒的 SeamlessExpressive。模型均基於 SeamlessM4T v2 架構構建,Meta 已將模型與對齊工具全量開源。
ElevenLabs 推出初創扶持計劃 ElevenLabs Grants。團隊員工少於 25 人的早期創業公司可申請為期 3 個月、每月 1100 萬字符的免費語音與配音額度,首期預計發放超 1000 億字元。扶持期結束後可享企業套餐大額折扣或隨時取消。
在 AWS re:Invent 大會上,AWS 宣佈為其語音轉寫服務 Amazon Transcribe 引入語音基礎模型。新版本基於數百萬小時無標註音訊訓練,支援語言從 39 種擴充到 100 種,準確率提升 20% 到 50%,還能自動為客服通話生成摘要。
OpenAI 宣佈向所有免費使用者開放 ChatGPT 移動端語音對話功能。使用者在手機 App 裡點選耳機圖示,就能用語音直接提問並收聽回答。這項功能 9 月推出時僅限付費會員;官方還在演示中借「給 778 名員工訂披薩」調侃了當時的董事會風波。
Amazon 宣佈在 Alexa 和 Fire TV 業務部門裁員數百人。高管 Daniel Rausch 在內部備忘錄中解釋,裁員是為了將內部資源集中投入到提升 Alexa 的生成式 AI 能力上,以配合業務優先順序的調整。
Microsoft 在 Ignite 2023 上推出 Azure AI Speech 文本轉語音替身公開預覽版,上傳照片和指令碼即可生成逼真的說話影片。配套的 Personal voice 僅憑一分鐘音訊樣本就能復刻聲音。為防濫用,定製替身和聲音復刻需單獨申請稽核,且強制新增 AI 水印與書面授權。
Adobe 展示了實驗性 AI 工具 Project Sound Lift。使用者匯入錄音後,AI 能自動將人聲、掌聲、笑聲或交通噪音拆解成獨立音軌,方便直接匯入 Premiere Pro 單獨精調。不過它目前只是「Sneak」預覽專案,暫未正式釋出。
Meta 釋出音訊生成模型 Audiobox。作為 Voicebox 的後繼者,它不僅能用文本提示詞直接生成語音、音效和環境音,還支援「語音+文本」雙輸入來自由調整語氣與場景。目前該模型僅面向受選研究人員開放申請,並同步上線了互動 Demo。
ElevenLabs 推出最新語音生成模型 Turbo v2。新模型將語音生成延遲縮短至約 400 毫秒,速度比初代快兩倍以上,音質仍與 Multilingual V2 持平。它還為網路電話服務新增了 mulaw 8khz 格式,多語言支援也已在路上。
Doritos 推出專為 PC 玩家設計的 AI 降噪軟體 Doritos Silent。該工具與 Smooth Technology 耗時半年研發,通過學習數千條咀嚼音訊,在語音連麥中即時消除吃薯片的清脆雜音。目前僅支援 Windows 系統,旨在解決開黑時隊友嚼零食干擾遊戲的問題。
據 Variety 報道,斯嘉麗·約翰遜正對 AI 應用 Lisa AI 的開發商 Convert Software 採取法律行動。該應用在一段 22 秒的廣告中擅自用 AI 克隆她的聲音推銷生成功能;儘管片尾寫著與本人無關,其律師明確表示絕不姑息。
ElevenLabs 推出面向企業的一體化 AI 語音平臺,拆分為 ElevenAgents 與 ElevenCreative 兩個方向。企業既能構建並部署多語言對話智慧體處理客服與排程,也能生成高擬真語音與音效,並原生打通 Salesforce 和 Zendesk 等業務系統。
披頭士樂隊宣佈最後一首四人合作單曲《Now and Then》將於 11 月 2 日釋出。製作團隊利用導演彼得·傑克森團隊的機器學習技術,從 1970 年代一段老磁帶中乾淨地剝離出約翰·列儂的人聲。這是科技幫老藝術家補齊半個世紀遺憾的一次經典示範。
Boston Dynamics 展示了一項概念驗證:將 ChatGPT、BLIP-2 視覺模型與 ElevenLabs 語音合成接入機器狗 Spot。機器人不僅能看懂周圍環境沿途解說,還能根據設定扮演諷刺、搞笑等性格回答提問。最值得關注的是大模型在實體機器人上展現出的自主聯想能力,不過目前每次回答仍有約 6 秒延遲。
D-ID 正式上線 iOS 與 Android 版移動應用。使用者上傳一張單人照片或挑選預設數字人,輸入臺詞並選擇 119 種語言和語氣,就能生成最長 10 分鐘的說話影片。移動端訂閱起售價為每月 5.99 美元,提供 14 天免費試用。