Murf AI 上線語音模型 Falcon 2:每分鐘 0.01 美元,延遲低於 100 毫秒
印度初創公司 Murf AI 上線語音模型 Falcon 2。其生成費用為每分鐘 0.01 美元,僅為 ElevenLabs 的五分之一,響應延遲低於 100 毫秒。它在 Artificial Analysis 基準中表現超過 OpenAI 部分系統,支援 35 種語言與上萬路併發。
印度初創公司 Murf AI 上線語音模型 Falcon 2。其生成費用為每分鐘 0.01 美元,僅為 ElevenLabs 的五分之一,響應延遲低於 100 毫秒。它在 Artificial Analysis 基準中表現超過 OpenAI 部分系統,支援 35 種語言與上萬路併發。
Adobe 宣佈 Firefly 音訊工具正式全面開放,支援一鍵生成具備商業安全許可的原創音樂、配音與音效。語音功能可選 ElevenLabs,同時平臺引入 Google Gemini Omni Flash 模型,併為 AI Assistant 開放每日免費生成額度。
Meta AI 正式上線 macOS 桌面應用,核心亮點是支援全系統的語音聽寫功能。使用者只需按住 fn 鍵說話,就能在電腦的任意軟體中直接輸入高精度轉錄文本,無需在多個視窗間來回切換。
ElevenLabs 正式推出即時語音模型 Eleven v3 Conversational。它支援德語、西班牙語等 70 多種語言及 1.1 萬多種聲音,開發者能通過音訊標籤精細控制笑聲、耳語或諷刺語氣,起售價為每千字元 0.05 美元。
開源語音模型 Audio8TS 釋出,主幹僅約 1 億引數,加上編解碼器整體體積也僅 1.7GB。它只需幾秒參考音訊即可完成零樣本聲音克隆,支援多語言,並提供 CPU 適用的 ONNX INT8 方案。這意味著普通筆記本無需獨立顯示卡也能在本地輕鬆克隆聲音。
開源語音 Agent 記憶系統 VoiceMem 釋出。它把記憶拆成存事實的「左腦」和記偏好情緒的「右腦」,能在使用者說話過程中同步完成流式檢索,響應延遲僅 134 毫秒,單輪消耗約 430 token。最值得關注的是,它讓語音助手不必卡頓等待檢索,程式碼與模型已完全開源。
Pika 推出 Pika Audio 系列四款音訊基礎模型,涵蓋影片音效同步 Soundtrack、音樂生成 Music、音效生成 SFX 以及語音合成 Speech。官方稱其推理成本大幅降低,價格最高比同類競品便宜 20 倍,目前已通過 Pika API Club 開放。
Grok Bot 面向付費使用者上線撥打電話功能,能替使用者撥打美國電話排隊等客服、預約甚至協商賬單。通話時配有即時文字記錄,遇到答不出的問題使用者可打字接力,但條款明確規定全部法律責任由使用者自負。
小米團隊開源音訊生成模型 MiDashengLM-Gen。它能根據結構化描述,在同一次生成中將語音、背景音樂、音效和環境聲自然融合為 16 kHz 音訊。整套框架基於 Qwen3-1.7B 與 Flow Matching 技術,程式碼按 Apache 2.0 協議開放。
Deepgram 推出專為即時對話設計的語音合成模型 Flux TTS,延遲低至 80 毫秒。它能追蹤多輪上下文,適應中途插話、臨時更改要求等複雜通話場景。最值得關注的是其瞄準生產級客服部署,9 月 12 日前開發者可免費體驗。
開源語音專案 IndexTTS 正式釋出 2.5 版本。新版支援中、英、日、西、阿 5 種語言,推理速度顯著快於 2.0,不僅支援 0.5 到 2 倍語速調節與多音字標註控制,還接入了 vLLM 生產級部署。
ElevenLabs 推出 Dubbing v2 API,允許開發者將 AI 配音接入自身產品。新模型基於原始表演生成,能在 90 多種語言中保留情緒和語氣,並自動對齊時間。它還能更好處理背景音樂與多說話人場景,支援單段重新生成。
xAI 為 Imagine Video 1.5 推出重要升級,新增影像與聲音參考、純文本生影片和原生 1080p 輸出。使用者單次最多可傳入 7 張參考圖來固定人臉、產品或場景,並同步鎖定角色聲音保持鏡頭一致。純文本生成與 1080p 已全面開放,音畫參考先向美國付費使用者推送。
AI 硬體公司 Friend 推出 2.0 版項鍊。新硬體內建揚聲器,讓原本只能收發簡訊的項鍊具備了固定性格的即時語音對話能力。不過升級帶來的代價不小,零售價從一代的 99 美元跳漲至 249 美元,實際實用場景仍待市場檢驗。
HeyGen 推出新工具 Video Podcast,能將文件、連結或想法直接轉化為雙人主持的影片節目。不同於以往的純音訊播客生成,它提供演播室場景、多機位切換和空鏡畫面,幾分鐘即可生成可直接釋出的完整影片。
Google 為 macOS 版 Gemini 帶來全域性語音功能。長按 Fn 鍵即可在任意視窗語音輸入,系統會自動過濾語氣詞和口誤;開啟推理功能後,Gemini 還能結合螢幕選中的檔案或文字完成總結、重寫甚至影像修改。目前向全球英語使用者推出。
開源歌聲合成系統 VocalRender 釋出。它直接接收歌詞與 MIDI 音符輸入,配合數秒參考音訊,無需手動對齊時序即可渲染出 48 kHz 歌聲。專案以 Apache-2.0 協議開源了全套程式碼,並提供約 9.5 GB 的基礎版與 Pro 權重。
xAI 釋出端到端語音模型 Grok Voice 2.0。它支援在發聲的同時並行推理,首包音訊延遲降至 0.7 秒,綜合評測超越 GPT-Realtime-2.1。模型每分鐘定價 0.08 美元,將於 8 月 5 日成為預設介面版本。
OpenAI 推出兩款全新轉錄模型 gpt-transcribe 與 gpt-live-transcribe,分別面向批次處理與即時音訊場景。模型重點優化了背景噪音、多語言、口音與專有名詞等複雜環境。這意味著真實嘈雜場景下的語音轉寫精度將顯著改善。
Fish Audio 宣佈完成 5200 萬美元種子輪融資,並公開發布語音克隆模型 S2.1 Pro。該模型僅需 5 秒音訊即可克隆聲音,速度是 Cartesia 的 2 倍,成本僅 ElevenLabs 的六分之一,且支援詞級情感與節奏控制。HeyGen 等企業已接入生產環境。