xAI 釋出 Grok Voice 3.0:延遲不足 1 秒,已接管 Starlink 七成客服
xAI 釋出語音大模型 Grok Voice 3.0。其端到端延遲壓縮到 1 秒以內,在 Artificial Analysis 語音榜單拿下 86.9 分排第一。該模型已接入特斯拉車載系統,並在 Starlink 每天 2 萬通客服電話中自主解決約 70% 的訴求。API 維持每分鐘 0.08 美元。
xAI 釋出語音大模型 Grok Voice 3.0。其端到端延遲壓縮到 1 秒以內,在 Artificial Analysis 語音榜單拿下 86.9 分排第一。該模型已接入特斯拉車載系統,並在 Starlink 每天 2 萬通客服電話中自主解決約 70% 的訴求。API 維持每分鐘 0.08 美元。
Fish Audio 開源新一代語音大模型 Drama 3。該模型採用 35B 引數的 MoE 文本骨幹,單段文本最多可容納 16 個不同角色,並支援通過標籤控制嘆氣等情緒。改詞時無需整段重錄,可直接順著上下文區域性替換。
Cactus Compute 釋出端側語音識別模型 Whistle,單個權重檔案僅 16.9 MB。它無需 GPU 和額外依賴即可在 CPU 上執行,支援 7 種語言轉錄及詞級時間戳,在多項基準測試中超越了 145 MB 的 Whisper base。
Suno 推出音訊模型 Speech 測試版,能直接將文本同時生成人聲朗讀與原創背景音樂。使用者輸入詩歌或故事,並描述聲音與音樂風格,即可輸出單軌完整音訊。它將人聲與伴奏製作合二為一,經測試後現已向所有使用者開放。
Google 推出 Guided Vision 功能,為盲人及低視力人群提供即時語音視覺輔助。該功能由 Google 與無障礙機構 Aira 聯合研發,使用者在 Gemini Live 中共享攝像頭,AI 不僅能解說周圍環境、讀標籤找物品,鏡頭偏了還會主動語音提醒使用者調整角度。
Microsoft 釋出 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash 文本轉語音模型。兩者支援零樣本即時克隆聲音與情緒控制,涵蓋 23 種語言。Flash 版延遲僅約 45 毫秒,每百萬字元 15 美元,讓即時電話互動徹底告別機械停頓。
AI 初創公司 Tavus 釋出全雙工互動模型 Griffin。它把全場景影片生成、聽覺與視覺感知融為一體,能邊聽邊點頭、自然插話,測試中讓 48% 的人誤以為在和真人視訊通話。目前輕量版 Griffin-Lite 僅面向小範圍早期測試者開放。
Inception Labs 宣佈擴散大語言模型 Mercury Voice 正式面向企業開放。在生產級語音提示詞測試中,該模型生成首個回答 token 的中位數時間僅 320 毫秒,比 GPT-6 Luna 快 5.9 倍,支援 128K 上下文併兼顧推理能力,能直接接入相容 OpenAI 的主流語音管道。
ElevenLabs 釋出全新語音合成模型 Eleven v4 及其低延遲變體 Eleven v4 Turbo。新模型支援用行內標籤控制語氣與笑聲,聲音克隆僅需 10 秒音訊,支援超 90 種語言。Turbo 版本中位推理延遲約 100 毫秒,專為即時對話智慧體最佳化。
Fermion Research 開源輕量級語音識別模型 Phonon-2。該模型僅 164MB,基於 NVIDIA Parakeet 最佳化,平均字錯誤率僅 5.21%,在 M5 MacBook Air 上轉錄 1 小時音訊只需 20 秒,適合在本地端側直接部署。
ElevenLabs 推出學生計劃,面向美、加、英、澳及歐盟 27 國 18 歲以上高校學生,免費提供 3 個月 ElevenCreative、ElevenAgents 和 API 許可權,外加 1 年 ElevenReader Ultra。該計劃旨在降低專業 AI 工具門檻,幫助學生做科研與開發,後續將擴充套件到更多國家。
Google 推出 Gemini 3.8 Live with Live Avatar,上線 Gemini Enterprise。該功能將近即時影片生成與語音結合,帶來能聽、能看、能說的動態數字人,支援 97 種語言對口型同步與表情適配,並能在後臺非同步呼叫工具的同時保持對話不中斷。
OpenAI 宣佈在全球推送新版 ChatGPT Voice。語音模式現已支援郵件、日曆和 Slack 等外掛,並可由 GPT-6 系列模型驅動。它還打通了 ChatGPT Work,使用者靠純語音指令就能直接生成文件、演示稿、網站和表格,或處理複雜的瀏覽器任務。
研究者公佈互動媒體演示 ACTx486,能把現成播客影片變成可互動內容。觀眾輕點畫面即可打斷提問、切換語言或插入 3D 物體,畫面中的嘉賓會依據公開記錄生成回應,隨後無縫接回原片。不過目前單次互動生成需數分鐘,公開演示均為提前預渲染。
Google 釋出 Gemini 3.8 Flash TTS 與 Flash-Lite TTS 語音合成模型。使用者輸入自然語言提示詞就能從零創造全新角色聲音,或通過 30 秒音訊快速復刻,還支援在雙人對話指令碼中逐句掌控語氣、笑聲與搭話節奏。新模型已接入 Gemini API 與 Google AI Studio。
YouTube 在 Made On YouTube 上公佈 YouTube Music 升級,推出對話工具 Ask Music 和個性化播客導覽。使用者能通過自然對話定製歌單並探索藝人背景,還能收聽每週 AI 語音推薦簡報。兩項功能即將面向全球訂閱使用者推出。
ElevenLabs 推出 AI 原生影片編輯器 Studio 4.0,將影片、影像、超 1 萬種聲音的配音、音樂及音效生成整合到同一時間軸中。內建的 Studio Agent 可逐幀分析畫面生成初剪,創作者無需在多款工具間切換匯出。
ElevenLabs 推出音訊編輯器 Studio 4.0。它集成了超 1 萬種聲音、AI 背景音樂與音效生成,創作者只需直接修改指令碼文字即可自動重新生成語音,免去二次錄音。此外新增的 Studio Agent 還能按提示詞起草指令碼並自動排布音效剪輯。
Edge0 開源流式語音識別模型 Audio8-ASR-Infinite。模型支援中英雙語,轉寫延遲控制在 240 至 560 毫秒,藉助迴圈滑動 KV 快取讓視訊記憶體佔用和延遲始終恆定,適合直播聽寫和即時互動。
阿里釋出即時同聲傳譯模型 Qwen3.8-LiveTranslate。它重構為音訊與文本交織的單流架構,字均延遲壓至 2.3 秒,支援 60 種語言。新模型能即時分離說話人並克隆音色,用發言人原聲念出譯文,目前已開放 API 和線上 Demo。