Voicebox:開源本地 AI 語音工具,搞定聲音克隆與全域性聽寫
開源本地 AI 語音應用 Voicebox 支援聲音克隆與聽寫,GitHub 標星超 4.2 萬。它僅需數秒音訊即可克隆任意聲音,支援用全域性熱鍵在任意輸入框語音打字,還能配合 Claude Code 等為智慧體配音。這讓使用者無需再訂閱付費平臺,即可在本地執行端到端語音能力。
開源本地 AI 語音應用 Voicebox 支援聲音克隆與聽寫,GitHub 標星超 4.2 萬。它僅需數秒音訊即可克隆任意聲音,支援用全域性熱鍵在任意輸入框語音打字,還能配合 Claude Code 等為智慧體配音。這讓使用者無需再訂閱付費平臺,即可在本地執行端到端語音能力。
微軟開源語音識別模型 VibeVoice-ASR(9B 引數)。它摒棄了傳統的切塊轉錄做法,單次可直接處理長達 60 分鐘音訊,並端到端一體化輸出文本、時間戳與說話人分離結果。長會議和播客轉錄不再擔心上下文割裂,程式碼已開源並支援微調。
阿里推出開源文本轉語音模型 Qwen3-TTS,提供 1.7B 和 0.6B 兩種尺寸,僅需數秒音訊即可克隆音色,還支援用提示詞直接定製新聲線。模型採用雙軌架構,端到端延遲低至 97 毫秒,克隆中文後可直接說多國語言與方言,便於即時互動與有聲書製作。
Adobe 為 Acrobat Studio 推出新 AI 功能,能把長報告等 PDF 直接轉成播客音訊或簡報。使用者還能通過文字指令直接增刪頁面、簽名和修改文字。目前音訊總結底層使用了微軟與 Google 的模型,類似 NotebookLM 的音訊概覽。
研究團隊展示了一款可穿戴「智慧喉」。它通過織物感測器捕捉喉肌微弱振動與脈搏,藉助大模型將中風患者吃力的無聲發音即時擴寫為帶情緒的完整句子,詞錯率僅 4.2%。最值得關注的是它無需侵入式腦機植入,不過目前僅在小範圍受試者中完成概念驗證。
Adobe 推出 Acrobat AI Assistant,把長文件和 PDF 變成互動式工作區。它能提供帶精準引文連結的文件摘要,還可以生成播客風格的音訊概覽以及彙報簡報。現有 Reader、Standard 或 Pro 訂閱使用者登入即可體驗,官方承諾使用者資料不用於訓練模型。
FlashLabs 開源端到端即時語音對話模型 Chroma 1.0。它無需經過文本中轉,能直接接收音訊輸入並同步生成語音與文字回覆;輸入一段參考音訊即可實現個性化聲音克隆。模型引數約 4B,採用 Apache-2.0 協議開源,目前僅支援英語。
NVIDIA 推出全雙工語音對話模型 PersonaPlex,支援端到端邊聽邊說與即時打斷。只需一段人設文本和參考音訊,它就能克隆聲線並自然接話或插話。最值得關注的是,它徹底打破了以往全雙工互動與自定義角色不可兼得的死結。
Kyutai 開源輕量級語音合成工具 Pocket TTS,僅 1 億引數,專為 CPU 設計且無需 GPU。在 MacBook Air M4 上僅用 2 核即可實現 6 倍即時速度,首包延遲約 200 毫秒,支援聲音克隆與超長文本,程式碼與模型均已公開。
蘋果與谷歌正式達成多年合作,將採用 Gemini 為未來的蘋果基礎模型及新版 Siri 提供支援。據報道蘋果每年將支付約 10 億美元授權費。最值得關注的是,蘋果罕見將核心助手的底座外包給競爭對手,同時其與 ChatGPT 的合作依然保持有效。
開發者開源微型音訊超分模型 NovaSR。模型體積僅約 52KB,架構不足 10 層卷積,單張 A100 上執行速度可達 3600 倍即時,能把 16kHz 的發悶音訊還原為 48kHz 高畫質聲音。它幾乎不佔視訊記憶體,非常適合塞進端側裝置或給 TTS 即時提質。
阿里巴巴 Qwen 團隊上線 Qwen3-TTS 語音系列,主打聲音設計與克隆。其中 VoiceDesign 支援用自然語言提示詞定製語氣和人設,VoiceClone 則僅需 3 秒音訊就能復刻聲音並支援 10 種語言。在多語言測試中,其詞錯誤率比 ElevenLabs 低 15%。
快手為可靈 2.6 推出語音控制與動作控制兩項升級。使用者可上傳音訊訓練專屬聲音,讓角色在多個影片片段裡保持音色一致,支援旁白與歌唱;動作控制則大幅強化了複雜運動捕捉,生成武術與舞蹈時手部更清晰、唇形同步也更自然。
xAI 正式面向開發者開放 Grok Voice Agent API。該介面採用全自研語音棧,首個音訊響應時間低於 1 秒,定價每分鐘 0.05 美元,且相容 OpenAI Realtime API 規範。最值得關注的是,它已在特斯拉車機上驗證落地,支援對話中無縫切換數十種語言及細膩的情緒語氣。
Amazon 推出新版 AI 助手 Alexa+,支援自然連續對話、跨裝置接續,並開放 alexa.amazon.com 網頁端打字交流。Prime 會員可免費全量使用,普通使用者也能在網頁和 App 免費體驗每日限量功能。不過目前僅面向美國使用者開放英語和西班牙語。
Google 推出升級版 Gemini 2.5 Flash Native Audio,大幅提升了語音智慧體的工具呼叫準確率和長對話連貫性。同時 Google 翻譯 App 上線耳機即時同傳測試版,支援 70 多種語言雙向交流,還能保留說話者的語調與節奏。
Interaction Labs 釋出桌面伴侶機器人檯燈 Ongo 並開啟首批 100 臺預售。Ongo 具備視聽和說話能力,動作由《玩具總動員》編劇設計,能根據使用者需求調整照明、提醒日常瑣事,還配有墨鏡配件遮擋視線保護隱私。
OpenAI 宣佈把 ChatGPT Voice 語音功能直接揉進常規聊天介面,不再需要切換獨立模式。你可以一邊說話,一邊看著回答即時生成、翻看歷史記錄,或者同步檢視圖片和地圖等視覺內容。目前正向移動端和網頁端全量推送。
Google 宣佈將 Gemini AI 助手推向 Android Auto,覆蓋全球 45 種語言。車主不再需要死記硬背固定指令,可以通過自然對話讓它沿途找店、總結未讀郵件與資訊,甚至開啟 Gemini Live 連續交流。目前正面向已在手機升級 Gemini 的使用者分批推送。
ElevenLabs 推出 Image & Video 公測版。平臺聚合了 Veo、Sora、Kling、Flux 等主流影像與影片模型,使用者生成畫面後可直接套用其聲音庫生成旁白並自動對口型,在 Studio 時間軸內一站式完成剪輯與匯出。