NVIDIA 開源 Audio2Face:輸入音訊就能即時生成 3D 面部動畫
NVIDIA 宣佈正式開源 Audio2Face 技術,包括模型、SDK 和訓練框架。該工具通過分析音素和語調,能由音訊直接生成精準的口型與微表情,支援離線渲染與即時流式傳輸。也就是說,遊戲和 3D 應用開發者現在可以免費且深度定製這套面部動畫管線。
NVIDIA 宣佈正式開源 Audio2Face 技術,包括模型、SDK 和訓練框架。該工具通過分析音素和語調,能由音訊直接生成精準的口型與微表情,支援離線渲染與即時流式傳輸。也就是說,遊戲和 3D 應用開發者現在可以免費且深度定製這套面部動畫管線。
Alibaba 開源端到端全模態模型 Qwen3-Omni,將文本、影像、音訊與影片整合進單一模型。模型響應延遲低至 211ms,支援 30 分鐘音訊理解與內建工具呼叫,並同步開放了 Instruct 與 Thinking 等 30B 級別權重。
H Company 開源專用於電腦操作(Computer Use)的基礎模型系列 Holo1.5,提供 3B、7B 和 72B 三種規格。相比前代,新模型在介面元素定位精度上提升超 10%,並強化了 UI 視覺問答能力。目前所有模型權重已在 Hugging Face 開放下載。
Google 聯合 DeepMind 釋出並開源 10 億引數大模型 VaultGemma。它是目前從零開始採用差分隱私(DP)訓練的最大開源模型,通過加噪防止記憶敏感資料。測試顯示其未發生資料死記硬背,效能大致與同尺寸早期 GPT-2 相當。
Google 釋出開源端側嵌入模型 EmbeddingGemma,體量僅 3.08 億引數。它專為硬體本地執行打造,無需聯網即可執行語義搜尋與 RAG 檢索,同時與 Gemma 3n 共用分詞器以降低記憶體佔用,兼顧了端側隱私和多語言理解。
ByteDance 宣佈釋出多合一智慧體模型 UI-TARS-2。該系列基於視覺語言模型與強化學習推理,能直接解析螢幕座標並模擬鍵鼠與觸屏操作,在 OSWorld 等測試中表現亮眼,同時提供桌面端工具與網頁自動化支援。
騰訊混元宣佈開源端到端文本-影片生音訊框架 HunyuanVideo-Foley。它基於 10 萬小時多模態資料訓練,採用 MMDiT 架構與音訊 VAE,能精準對齊畫面動作生成分層音效。在音訊質量和時序對齊等基準測試中超越了現有開源模型。
OpenAI 在 GitHub 上以 Apache-2.0 協議開源輕量級程式設計智慧體 Codex CLI。該工具可直接在本地終端執行,支援 Mac、Linux 與 Windows,並適配 VS Code 等編輯器。最值得關注的是,使用者登入 ChatGPT 賬戶即可呼叫。
xAI 宣佈開源其 2024 年主力模型 Grok 2.5,模型權重已上線 Hugging Face。該模型採用社群許可,研究與非商用免費,但禁止用於訓練其他大模型。Elon Musk 同時表示,Grok 3 計劃在約 6 個月後開源。
馬斯克在 X 上宣佈,xAI 將於下週正式開源 Grok 2 大模型。按照 xAI 的慣例,推出新版本時會公開上一代模型,此前推出 Grok 2 時就開源了 Grok 1。在大廠紛紛轉向閉源的趨勢下,開源 Grok 2 能讓開發者與研究機構更低門檻地使用前沿技術。
香港大學等團隊推出開源計算機操控智慧體框架 OpenCUA。該框架包含後臺錄製工具與超 2.26 萬條跨 Windows、macOS 和 Ubuntu 的運算元據集,並通過加入思維鏈推理訓練模型。其評測成績超越現有開源方案,緊追 OpenAI 和 Anthropic 的閉源智慧體。
ByteDance 旗下 Seed 團隊在 Hugging Face 正式開源 Seed-OSS-36B 模型家族。該模型擁有 360 億引數,原生支援長達 512K token 上下文,並允許開發者設定思考預算來平衡速度與推理質量。採用寬鬆的 Apache-2.0 協議,企業可免費用於商業化部署。
Nvidia 今日釋出開源小模型 Nemotron-Nano-9B-v2,專為單張 A10 GPU 最佳化。它採用 Mamba 與 Transformer 混合架構,速度提升最高達 6 倍;開發者能用 /think 或 /no_think 隨時開關推理思考,並自由設定思考 token 預算來平衡延遲與準確率。
NVIDIA 聯合卡耐基梅隆大學等開源多語言語音資料集 Granary,涵蓋約 100 萬小時音訊與 25 種歐洲語言。同步上線的 Canary-1b-v2 轉錄準確率登頂 Hugging Face 榜首,Parakeet 模型則主打高吞吐即時轉錄,大幅降低小語種語音 AI 的開發門檻。
Google 推出超輕量模型 Gemma 3 270M,引數量僅 2.7 億。它自帶指令遵循和文本結構化能力,專為特定任務微調設計,旨在讓開發者用極低成本與高速度搞定文本分類、資料提取等明確場景。