ElevenLabs 推出 Studio Agent:時間軸剪輯器內建 AI 助手,協同處理音影片
ElevenLabs 宣佈在其 ElevenCreative 平臺的 Studio 時間軸編輯器中內建 AI 協同編輯助手 Studio Agent。創作者無需離開平臺,即可通過 AI 協作混合配音、音樂、音效與影片,進一步簡化多媒體制作流程。
ElevenLabs 宣佈在其 ElevenCreative 平臺的 Studio 時間軸編輯器中內建 AI 協同編輯助手 Studio Agent。創作者無需離開平臺,即可通過 AI 協作混合配音、音樂、音效與影片,進一步簡化多媒體制作流程。
Spotify 推出測試版工具 Save to Spotify。使用者可在桌面端配合 Claude Code、OpenClaw 等智慧體,通過簡單提示詞將日程簡報、課堂筆記等一鍵轉為私人音訊,並無縫同步至 Spotify 跨裝置曲庫。全球免費及 Premium 使用者均可體驗,測試期設有使用額度限制。
2026-05-07,OpenAI 在 Realtime API 中推出 GPT-Realtime-2 等三款語音模型。新模型支援多級推理與並行工具呼叫,上下文從 32K 擴至 128K,並加入支援 70 多種語言的即時同傳和低延遲流式轉寫功能,讓語音助手能在對話中直接處理複雜任務。
Google 宣佈為內建 Google 系統的汽車推送 Gemini,替代舊版 Google Assistant,新舊車型均支援更新。車主可像日常聊天一樣導航、發信息,甚至讓它翻看車型手冊解答車況問題。目前先面向美國英語使用者推送。
Google Translate 迎來 20 週年,正式上線使用者期待已久的 AI 發音練習功能。系統通過 AI 即時分析使用者的口語發音細節並給出即時反饋。該功能目前面向美國和印度使用者推出,首批支援英語、西班牙語和印地語,後續將覆蓋更多語言。
微軟在 Copilot Studio 中正式上線即時語音智慧體,取代傳統死板的電話按鍵選單,支援自然對話與隨時打斷。同時,Dynamics 365 也迎來多款新智慧體,覆蓋客服接聽、通話質檢與銷售記錄自動同步,推動企業全流程自動化。
復旦大學團隊提出即時流式數字人生成框架 Hallo-Live,能直接由文本同步合成語音與肖像影片。在兩塊 NVIDIA H200 上,它跑出 20.38 FPS 的速度,延遲僅 0.94 秒。它將雙流擴散與偏好引導蒸餾結合,解決了互動式數字人延遲高與音畫脫節的痛點。
Scenema AI 開源語音生成模型 Scenema Audio,它從 LTX 2.3 提取而來,支援將聲音音色與情緒表演解耦。只需幾秒參考音訊,就能靠提示詞裡的舞臺指示改變情緒、呼吸節奏甚至口音,還能中途切換狀態。量化版本最低需 16GB 視訊記憶體並在本地執行。
Grok Imagine 升級圖生影片功能,大幅提升了對口型效果與音訊清晰度。更新後對白能夠準確貼合嘴型動作,聲音也更符合畫面場景,讓最終生成的聲畫表現更自然連貫。
xAI 推出旗艦語音智慧體模型 Grok Voice 1.0 並開放 API。它支援 25 種以上語言,可在不增加延遲的前提下在後臺即時思考與呼叫工具,準確採集地址、賬號等複雜資訊,目前已用於 Starlink 電話客服。
Google 為 Gemini for Home 推出連續對話功能。使用者首次喚醒後麥克風會保持聆聽數秒,可直接追問而無需重喊「Hey Google」。新版本具備上下文記憶能力,優化了閒聊過濾以防誤觸,且面向全屋所有成員與訪客開放。
據《華爾街日報》報道,Dairy Queen 開始在美加數十家得來速門店上線 Presto 的 AI 點單機器人。該系統點單準確率約為 90%,旨在加快服務速度並向顧客推銷加餐。不過此前有報道指出,Presto 的技術背後可能仍有人工遠端協助兜底。
Google 推出語音合成模型 Gemini 3.1 Flash TTS。新模型引入音訊標籤,允許開發者在輸入文本中直接用自然語言調控語氣、節奏和語調,支援原生多說話人對話與 70 多種語言,所有音訊均嵌入 SynthID 水印。
週一,Google 在 iOS 悄悄上線免費聽寫應用 Google AI Edge Eloquent。它基於端側 Gemma 模型離線轉錄語音,能自動過濾「嗯」「啊」等口癖,並一鍵轉成正式或要點格式。應用還可選 Gemini 雲端清洗,iOS 鍵盤擴充套件即將推出。
Spotify 宣佈將 AI 歌單功能 Prompted Playlist 擴充套件至播客。美、加、英等 6 國的 Premium 使用者可用英語輸入自然語言提示定製專屬播客列表,並可設定每日或每週更新,每期入選單集還會附帶推薦理由。
Microsoft 釋出多語言語音轉文字模型 MAI-Transcribe-1,在 Microsoft Foundry 開啟公測。該模型支援 25 種語言,在 FLEURS 基準測試中準確率超越 Whisper-large-V3,速度提升 2.5 倍,轉寫單價僅每小時 0.36 美元。最值得關注的是它抗噪表現出眾,已開始接入 Teams 與 Copilot。
開源工具 YouTube Shorts Pipeline 支援用一條命令將新聞標題直接轉成已釋出的 YouTube 短影片。它串聯了 Claude、Gemini、ElevenLabs 和 Whisper,單個影片製作僅需 3 到 5 分鐘,API 成本約 0.10 美元,支援本地執行與預覽調整。
零樣本語音模型 OmniVoice 正式開源。它支援超過 600 種語言,只需幾秒音訊就能克隆音色與語氣,還能實現跨語種遷移,或通過提示詞直接定製聲音。最值得關注的是它直接將文本對映為聲學特徵,大幅拓寬了小語種覆蓋。目前程式碼與模型均已公開。
OpenAI 更新 iPhone 版 ChatGPT,藉助 iOS 26.4 推出 CarPlay 專用車機版。新介面完全採用語音互動,螢幕不顯示任何文字,僅保留靜音和結束按鍵以保證駕駛安全。這是首個推出 CarPlay 專屬車機的主流 AI 應用,需要升級至 iOS 26.4 才能使用。
開源語音模型 LongCat Audio Edit 釋出。模型僅需幾秒參考音訊就能克隆語氣與音色,官方同時推出了 35 億引數高品質版和約 6GB 的輕量版,後者可在多數消費級 GPU 上本地執行。