Meta 開源多模態翻譯模型 SeamlessM4T:支援近百種語言互譯
Meta 推出全能多模態翻譯模型 SeamlessM4T,支援近 100 種語言的語音與文本互譯,包含近百種語言語音轉文本及 36 種語言語音互譯。該模型以研究許可開源,同時放出了 27 萬小時語音文本對齊資料集 SeamlessAlign 的後設資料。
Meta 推出全能多模態翻譯模型 SeamlessM4T,支援近 100 種語言的語音與文本互譯,包含近百種語言語音轉文本及 36 種語言語音互譯。該模型以研究許可開源,同時放出了 27 萬小時語音文本對齊資料集 SeamlessAlign 的後設資料。
Microsoft 宣佈擴大與醫療軟體巨頭 Epic 的合作,將 Azure OpenAI 和 Nuance DAX Express 深度整合至 Epic 電子病歷平臺中。醫生不僅能靠 AI 快速總結病歷和回覆患者,還能通過環境語音自動生成臨床文件,旨在緩解醫護過勞並簡化繁重的行政記賬流程。
ElevenLabs 宣佈平臺正式結束 Beta 測試,並推出語音生成模型 Eleven Multilingual v2。新模型支援中文、韓語、日文等 28 種語言,能自動識別輸入語種,並保持說話人原有的音色和口音特徵,用同一套聲音完成多語種配音。
ElevenLabs 宣佈與科學影片平臺 ScienceCast 及 arXiv 展開合作。ScienceCast 的自動化影片工具接入了 ElevenLabs 的 AI 語音合成能力,能把 arXiv 上的學術論文直接生成為 3 到 5 分鐘的配音簡報,幫科研人員從海量文獻中快速抓重點。
Take-Two 近日向《GTA 5》AI 模組 Sentient Streets 發出 DMCA 侵權通知,導致該模組及演示影片被全網下架。該模組接入 Inworld AI 與 ElevenLabs 技術,支援玩家與 30 多個 NPC 即時語音交談。作者表示下架前未收到任何官方溝通,為防範法律風險已主動撤下相關資源。
ElevenLabs 與 Inworld 宣佈達成合作,把 ElevenLabs 的語音合成技術接入 Inworld 平臺。遊戲開發者藉此能為 AI NPC 生成更逼真的動態語音,角色可以根據不同劇情場景和玩家互動即時調整聲調與表達,提升沉浸感。
D-ID 與 ElevenLabs 宣佈達成合作,將後者的優質 AI 語音接入 Creative Reality studio。Pro 訂閱使用者可以一鍵為數字人新增 9 款精選語音,搭配嚴肅、開心等 4 種表情,讓口播影片的語氣更自然、情緒更飽滿。
據報道 OpenAI 已向美國專利商標局提交「GPT-5」商標申請。該申請涵蓋自然語言處理、語音識別、文本生成及神經網路開發等範圍。不過這並不意味著新模型很快就會面世,CEO Sam Altman 此前表示仍需完成大量安全審計工作。
新聞應用 Artifact 聯手 Speechify 推出 AI 朗讀功能。應用內提供超過 30 種英文聲音,甚至包括 Snoop Dogg 和格溫妮絲·帕特洛的名人聲線,支援最高 4.5 倍速及後臺播放。該功能目前已在 iOS 上線,Android 隨後推出。
Meta 宣佈與印度電子和資訊科技部旗下 India AI 簽署合作備忘錄。雙方將推動 Llama、MMS 等開源模型落地印度生態,重點構建印度本土及低資源語言資料集,並計劃設立卓越中心扶持 AI 初創企業。
Spotify CEO Daniel Ek 在財報會上透露,繼 AI DJ 之後,公司正考慮用生成式 AI 總結播客內容並自動生成音訊廣告。廣告主未來能以極低成本批次測試成千上萬條音訊廣告。此外,Spotify 7 月 20 日公佈的一項新專利顯示,其還在研發能表達憤怒、諷刺甚至耳語的多情感語音合成技術。
Twitch 上線名為 trumporbiden2024 的 24 小時 AI 辯論直播,AI 驅動的特朗普與拜登不僅能模仿原聲和神態,還互相人身攻擊並嘲弄彈幕觀眾。這場實驗吸引了超 10 萬人觀看,雖然言論頻頻陷入荒誕失控,但也展示了 AI 擬真模仿的高成熟度。
加州創業者 Roger Anderson 將 ChatGPT 與語音克隆結合,推出每年 25 美元的 Jolly Roger 防騷擾服務。系統提供碎嘴老頭、忙亂寶媽等不同人設,能識別按鍵並胡扯拖延詐騙電話長達 15 分鐘,讓騙子白白浪費時間與通話成本。
ElevenLabs 推出全新 Voice Library 聲音庫功能。創作者不僅可以在平臺克隆或通過提示詞設計專屬聲音,還能直接瀏覽和選用庫中海量的多樣化聲線,覆蓋播客、有聲書及影片配音等多種創作場景。
週四,YouTube 在 VidCon 宣佈引入 Google 孵化器旗下的 AI 配音團隊 Aloud。該工具能先轉寫影片文稿供人工校對,再自動翻譯併合成配音;目前正與數百位創作者測試英語、西語及葡語,後續還計劃加入創作者聲紋克隆與口型同步。
全英俱樂部宣佈聯合 IBM 為本屆溫網比賽集錦引入 AI 語音解說與字幕。該功能基於 IBM watsonx 平臺,結合球場追蹤資料生成貼合網球語境的解說。服務將在溫網官方 App 和網站提供,也是邁向全場比賽 AI 解說的一步。
Meta 公佈語音生成模型 Voicebox。它基於上下文學習,只需 2 秒音訊樣本就能模仿音色合成語音,支援 6 種語言的風格遷移,還能像橡皮擦一樣切除雜音並重生成無縫語音。
ElevenLabs 推出 AI Speech Classifier 語音檢測工具。使用者無需登入,上傳音訊即可分析前 1 分鐘內容,並獲得由其自研技術生成的機率;如果是,還會匹配聲音庫裡的近似聲音。不過目前該工具對 Eleven v3 生成的聲音識別尚不穩定。
Mercedes-Benz 宣佈在美國啟動測試,通過 Microsoft Azure OpenAI Service 將 ChatGPT 接入 MBUX 語音系統。除了開關車窗和導航,它還能自然對答應答、推薦菜譜或介紹沿途景點。對話資料會經官方雲端脫敏儲存。
Microsoft 宣佈為 Bing Chat 上線語音命令功能。使用者在對話方塊點選麥克風即可語音提問,AI 也會用語音朗讀回覆,目前支援英語、普通話、法語和德語。同時,單次對話輪次上限從 20 輪放寬到 30 輪,單日上限升至 300 輪。