阿里釋出全模態模型 Qwen3.5-Omni:對著鏡頭說話就能寫網頁
阿里 Qwen 團隊釋出原生全模態模型 Qwen3.5-Omni。它能同時理解文本、影像、音訊和影片,主打「視聽 Vibe Coding」,使用者對著攝像頭描述需求就能直接生成網站或小遊戲。其音訊表現超越 Gemini-3.1 Pro,原生支援處理 10 小時音訊或 400 秒影片。
阿里 Qwen 團隊釋出原生全模態模型 Qwen3.5-Omni。它能同時理解文本、影像、音訊和影片,主打「視聽 Vibe Coding」,使用者對著攝像頭描述需求就能直接生成網站或小遊戲。其音訊表現超越 Gemini-3.1 Pro,原生支援處理 10 小時音訊或 400 秒影片。
開源語音克隆模型 LuxTTS 釋出,只需 3 秒音訊就能準確復刻音色。它將推理壓縮至 4 步,視訊記憶體佔用不到 1GB,在 GPU 上達到 150 倍即時速度且原生支援 48kHz 高畫質音訊。這意味著普通電腦甚至純 CPU 也能零門檻跑通高質量配音。
Google 宣佈 Google Translate 的耳機「即時翻譯」功能正式登陸 iOS,並擴充套件至 12 個國家。該功能不再繫結專屬硬體,接入任意耳機即可通過 Gemini 保留說話者語調並即時翻譯 70 多種語言,讓普通耳機直接變成翻譯機。
Google 推出即時語音模型 Gemini 3.1 Flash Live,主打更自然的語調節奏與複雜推理能力。該模型已接入 Gemini Live、覆蓋 200 多個國家和地區的 Search Live,開發者可通過 Google AI Studio 呼叫,生成音訊均帶有 SynthID 水印。
Cohere 開源首個語音識別模型 Transcribe。該模型引數量為 20 億,支援消費級 GPU 本地執行,每分鐘可處理 525 分鐘音訊,涵蓋中英日等 14 種語言。其在 Open ASR 榜單字錯率為 5.42,同時 Cohere 還提供免費 API 接入。
Smallest.ai 釋出專為對話智慧體打造的 TTS 模型 Lightning V3。模型支援英語、印地語等 15 種語言自動檢測及句中無縫混說,V3.2 版本支援用指令微調情緒與耳語。最關鍵的是,僅需 5 至 15 秒音訊即可克隆出帶自然語感的聲音。目前已開放免費體驗。
阿里開源音效生成模型 PrismAudio。它將強化學習與思維鏈結合,先分析畫面再生成聲畫同步的音效。模型引數僅 5.18 億,生成 9 秒音訊只需 0.63 秒,在多項基準測試和生成速度上均優於 MM-Audio 等數十億引數競品。
Mistral AI 釋出首個文本轉語音模型 Voxtral TTS。該模型引數量為 4B,支援英語、法語等 9 種語言,典型輸入延遲僅 70ms,最快僅需 3 秒音訊即可完成聲音克隆。模型權重已開源,API 定價為每千字元 0.016 美元。
據 Variety 報道,獨立電影《As Deep as the Grave》利用生成式 AI 完整重現了已故影星 Val Kilmer 的形象與聲音。Kilmer 生前因喉癌無法進組,製作方在獲得其家屬授權並遵循工會規範後,藉助家庭影像與後期技術完成出演,成為 AI 倫理合規參演的新案例。
阿里開源影視配音模型 Fun-CineForge。輸入影片與文本,模型通過引入「時間模態」識別角色並對準唇形,即便面部被遮擋也能卡準節奏發聲。最值得關注的是它支援多角色自然切換,讓自動配音真正做到了音畫對齊。
清華大學開源互動課堂平臺 OpenMAIC。輸入任意主題或文件,系統就能一鍵生成課件、測驗和互動模擬,並由會畫白板、能語音講解的 AI 老師和插話討論的 AI 同學即時帶練。它讓自學從單向看影片變成了可提問、可辯論的虛擬教室,程式碼基於 MIT 協議開源。
騰訊開源 7B 引數端到端音訊大語言模型 Covo-Audio-Chat。模型採用單一架構直接處理連續音訊輸入與輸出,支援原生低延遲全雙工互動,能做到邊聽邊說和即時打斷。程式碼與模型權重已在 GitHub 和 Hugging Face 開放。
Fish Audio 釋出第二代開源語音模型 Fish Audio S2。它支援在臺詞中任意插入自然語言標籤實現詞級語氣控制,首包延遲僅 100 毫秒,支援約 80 種語言。模型權重與微調程式碼已在 GitHub 和 HuggingFace 開源。
一體化數字人模型 ID Laura 開源。它基於 LTX 2.3,改變了以往先克隆聲音再匹配口型的兩段式做法,只需輸入單張人像、參考音訊和臺詞,就能由單個模型同步生成影片、克隆語音與環境音。目前執行至少需 24GB 視訊記憶體,推薦 48GB。
Hume AI 開源語音語言模型 TADA。它將每個文本 token 與聲學向量一對一繫結,生成速度比同類方案快 5 倍以上,在千餘測試樣本中做到零幻覺。最關鍵的是它輕量到可在手機等端側裝置直接執行,且 2048 token 視窗能容納約 700 秒音訊。
Tavus 推出多模態感知系統 Raven-1,能即時捕捉對話者的語氣、微表情和姿態。它拋棄了傳統的喜怒哀樂標籤,直接輸出自然語言描述,重新整理延遲在 300 毫秒內,並支援相容 OpenAI 的工具呼叫。這意味著 AI 終於不再只看轉寫文字,能真正理解言外之意。
X 宣佈為平臺長文章新增「Listen」按鈕,由 xAI 的 Grok AI 語音驅動,支援邊刷帖或切換到其他 App 時後臺收聽。這既能幫創作者擴大受眾,也能為 Grok 積累更多深度訓練語料。官方稱過去 3 個月 X Articles 增長了 18 倍。
AI 影片生成平臺 LTX Studio 宣佈推出配音與字幕功能,專門面向需要快速製作和本地化影片的企業團隊。新能力旨在幫助企業針對不同語言受眾調整影片內容。目前官方尚未公佈具體支援的語言種類與定價細節。
Anthropic 開始在程式設計助手 Claude Code 中測試語音模式,目前面向約 5% 使用者開放,未來數週逐步擴大。開發者獲得資格後會在歡迎介面收到提示,輸入「/voice」即可開啟,直接用說話代替打字來寫程式碼。
Microsoft 在 Hugging Face 開源語音識別模型 VibeVoice-ASR。它能在 64K 長度內一次性處理長達 60 分鐘的連續音訊而無需切片,同步輸出說話人、時間戳與轉錄文本,同時支援自定義熱詞和 50 多種語言的混說轉錄。