ACE-Step 1.5 開源:不到 4GB 視訊記憶體,10 秒本地生成完整歌曲
ACE Studio 與階躍星辰開源音樂基礎模型 ACE-Step 1.5。它視訊記憶體需求不到 4GB,在 RTX 3090 上不到 10 秒就能生成完整歌曲,支援 50 多種語言且採用 MIT 協議可商用。這意味著創作者無需依賴昂貴的雲端 API,在消費級顯示卡上就能直接做音樂生產。
ACE Studio 與階躍星辰開源音樂基礎模型 ACE-Step 1.5。它視訊記憶體需求不到 4GB,在 RTX 3090 上不到 10 秒就能生成完整歌曲,支援 50 多種語言且採用 MIT 協議可商用。這意味著創作者無需依賴昂貴的雲端 API,在消費級顯示卡上就能直接做音樂生產。
統一音訊理解模型 MOSS-Audio 正式開源,提供 4B 與 8B 規格,均包含 Instruct 和 Thinking 版本。該模型將語音識別、說話人分析、情感檢測、環境聲及音樂理解整合在單一架構內,時間戳 ASR 精度表現大幅領先 Gemini-3.1-Pro。
Anthropic 開源 Knowledge Work Plugins 外掛庫,面向銷售、法務、市場等非技術崗位。整套外掛不含一行程式碼,純靠 Markdown 和 JSON 打包工作流與工具連線,適配 Claude Cowork 與 Claude Code。團隊只需修改文本檔案,就能把內部流程直接沉澱為專屬智慧體。
WordPress 貢獻者釋出開源 AI 技能 wp-playground。它基於 Playground CLI 讓 AI 程式設計智慧體在幾秒內啟動本地 WordPress 例項,自動掛載外掛或主題並用 Playwright 驗證。這意味著像 Claude Code 這類智慧體寫完程式碼能立刻自測自糾,告別繁瑣的手動除錯環境。
OpenMOSS 開源影片生成模型 MOVA,可在單個模型內原生同步生成畫面與聲音。它採用 320 億引數的 MoE 架構,執行啟用 180 億引數,支援多語言對口型。程式碼和權重已上線 GitHub,不過 720p 版本約 77 GB,對視訊記憶體要求較高。
robbyant 開源基於 Wan2.2 的世界模擬器 LingBot-World。它支援用文本或圖片生成可互動環境,能以 16 FPS、低於 1 秒延遲輸出 480P 與 720P 畫面,並具備分鐘級場景一致的長記憶。程式碼與權重已公開,為互動生成與機器人學習提供了開源方案。
研究團隊釋出風格遷移模型 TeleStyle,支援通過參考圖或文本為影像和影片賦予特定畫風。該模型基於 Qwen-Image-Edit 構建,藉助課程持續學習與專用的影片模組,在套用新風格時仍能保證畫面內容和幀間連貫性。目前程式碼與預訓練模型已開源。
阿里通義團隊開源影像生成基座模型 Z-Image。它是此前 Turbo 版本的未蒸餾滿血底模,解決了一換種子構圖不變、多人同臉的問題,原生支援負向提示詞和 LoRA 微調。出圖步數增至 50 步,目前已支援在 ComfyUI 中直接執行。
開源自託管 AI 助手 Clawdbot 允許使用者通過 Telegram 或 WhatsApp 傳送指令,在本地電腦上自動執行指令碼、管理檔案和回覆郵件。最關鍵的是它能自己寫程式碼擴充套件新技能,隱私資料全留本地,不過在本地執行任意命令也存在安全風險。
Letta 推出開源外掛 Claude Subconscious,讓第二個代理在後臺默默觀察會話並檢索程式碼庫。它維護 8 個跨會話記憶塊,能在每次提問前把上下文提示悄悄注入 Claude Code,全程非同步且不卡工作流。
NVIDIA 推出 Earth-2 開放氣象模型家族,提供全開放、加速的氣象 AI 軟體棧。該系列支援機構在本地基礎設施上微調與部署,以色列氣象局實測計算時間縮短 90%。目前 Earth-2 Medium Range 等模型已上線 GitHub 與 Hugging Face。
開源本地 AI 語音應用 Voicebox 支援聲音克隆與聽寫,GitHub 標星超 4.2 萬。它僅需數秒音訊即可克隆任意聲音,支援用全域性熱鍵在任意輸入框語音打字,還能配合 Claude Code 等為智慧體配音。這讓使用者無需再訂閱付費平臺,即可在本地執行端到端語音能力。
微軟開源語音識別模型 VibeVoice-ASR(9B 引數)。它摒棄了傳統的切塊轉錄做法,單次可直接處理長達 60 分鐘音訊,並端到端一體化輸出文本、時間戳與說話人分離結果。長會議和播客轉錄不再擔心上下文割裂,程式碼已開源並支援微調。
騰訊釋出並開源混元影像 3.0 圖生圖模型(HunyuanImage 3.0-Instruct),支援指令修圖與多圖融合。模型原生內建思維鏈,生成前會先推理編輯步驟與保留區域。該能力已在騰訊元寶上線,開源權重約 169 GB,對本地視訊記憶體要求極高。
研究員開源即時分割模型 RF-DETR segmentation,採用 Apache 2.0 協議。模型提供從 Nano 到 2XLarge 共 6 種尺寸,單圖推理速度在 3.4 毫秒(40.3 mAP)至 21.8 毫秒(49.9 mAP)之間,兼顧即時性與高精度分割。
阿里推出開源文本轉語音模型 Qwen3-TTS,提供 1.7B 和 0.6B 兩種尺寸,僅需數秒音訊即可克隆音色,還支援用提示詞直接定製新聲線。模型採用雙軌架構,端到端延遲低至 97 毫秒,克隆中文後可直接說多國語言與方言,便於即時互動與有聲書製作。
研究團隊開源 4D 動態生成模型 Motion 3-to-4。它能從單視角影片中直接重建高保真 4D 動態物體,把任務拆解為靜態 3D 形狀與逐幀頂點運動軌跡預測,還能將提取出的角色動作遷移到其他影片中。
Overworld 開源即時互動式影片模型 Waypoint-1 及推理庫 WorldEngine,支援通過鍵鼠即時操控畫面。該模型基於上萬小時遊戲影片訓練,在 RTX 5090 上最高可達 60 FPS 且近乎零延遲。不過目前畫面一致性較弱且存在幻覺,已開放 2.3B 小型版本下載。
LightOn 開源端到端視覺語言 OCR 模型 LightOnOCR-2-1B。模型僅 1B 引數,在 OlmOCR-Bench 上不僅超越 9B 的 Chandra-9B,推理速度還比 DeepSeekOCR 快 1.73 倍。全系列採用 Apache 2.0 協議,同步開放了檢測圖片邊框的變體與 1600 萬頁標註資料。
Meta 開源 3D 重建框架 ShapeR。它結合 SLAM 點雲與多模態資料,能把隨手拍攝的影片序列直接拆解,為場景中的每個物體生成具備真實度量尺寸的獨立 3D 網格。這解決了以往 3D 生成將場景糊成一體、無法單獨編輯物體的難題。
FlashLabs 開源端到端即時語音對話模型 Chroma 1.0。它無需經過文本中轉,能直接接收音訊輸入並同步生成語音與文字回覆;輸入一段參考音訊即可實現個性化聲音克隆。模型引數約 4B,採用 Apache-2.0 協議開源,目前僅支援英語。
研究團隊開源多主體動畫模型 CoDance,解決了角色與驅動姿態錯位就無法動起來的難題。它先解綁動作與空間位置,再通過文本和遮罩把動作精準指派給目標角色,無論畫面裡有幾個人、什麼畫風都能生成協調動畫。目前程式碼與權重已全部開源。
Google 推出開源翻譯模型系列 TranslateGemma,提供 4B、12B 和 27B 三個尺寸。模型基於 Gemma 3 並蒸餾了 Gemini 的能力,支援 55 種語言,12B 版本效果反超原本 27B 基準,且保留了直接翻譯圖片內文字的能力。
開源音樂基礎模型 HeartMuLa 釋出,輸入曲風提示詞和歌詞即可一鍵生成含人聲與伴奏的完整歌曲。目前已開放 30 億引數版本,權重約 16GB,支援中英日韓西多語言,旋律一致性與歌詞跟隨度極高。這意味著學術級資源也能做出逼近頂級閉源商業水準的整麴生成工具。
Black Forest Labs 釋出影像生成模型 FLUX.2 klein,能在 13GB 視訊記憶體的消費級顯示卡上實現亞秒級生圖與編輯。模型提供 API 與本地部署支援,其中 4B 版本採用 Apache 2.0 協議開源,9B 版本開放權重,官方同步上線了免費 Demo。
Black Forest Labs 推出快速影像生成模型 FLUX.2 [klein],主打亞秒級推理,官方稱比競品快 30% 以上。新模型分為 9B 與 4B 兩種規格,其中 4B 版本採用寬鬆的 Apache 2.0 開源協議,最低僅需 8.4GB 視訊記憶體即可本地部署,且官方提供了免註冊體驗 Demo。
NVIDIA 推出全雙工語音對話模型 PersonaPlex,支援端到端邊聽邊說與即時打斷。只需一段人設文本和參考音訊,它就能克隆聲線並自然接話或插話。最值得關注的是,它徹底打破了以往全雙工互動與自定義角色不可兼得的死結。
Kyutai 開源輕量級語音合成工具 Pocket TTS,僅 1 億引數,專為 CPU 設計且無需 GPU。在 MacBook Air M4 上僅用 2 核即可實現 6 倍即時速度,首包延遲約 200 毫秒,支援聲音克隆與超長文本,程式碼與模型均已公開。
開發者開源微型音訊超分模型 NovaSR。模型體積僅約 52KB,架構不足 10 層卷積,單張 A100 上執行速度可達 3600 倍即時,能把 16kHz 的發悶音訊還原為 48kHz 高畫質聲音。它幾乎不佔視訊記憶體,非常適合塞進端側裝置或給 TTS 即時提質。
ShowUI-Aloha 正式開源,這是一款通過人類示範學習的電腦操作智慧體。只需使用者錄屏演示一次訂票或改表格,系統就能提取語義軌跡並在相似任務中自主執行,在 OSWorld 評測中達到 60.1% 的成功率。程式碼遵循 MIT 協議。
開源影像編輯模型 VIBE 正式公佈,採用 2B 引數的 Qwen3-VL 搭配 1.6B 的 Sana 1.5。在 H100 上編輯 2K 影像約需 4 秒,蒸餾版本更壓至 2 秒以內。最值得關注的是,它用極小引數量實現了出色的原圖一致性保留。
UniSH 開源了統一前向 3D 重建框架。無需複雜的迭代最佳化,僅憑一段有鏡頭抖動或複雜動作的普通影片,單次推理就能同步還原出場景 3D 點雲、相機軌跡以及帶公制尺度的人體姿態。程式碼已在 GitHub 開源,支援本地部署執行。
騰訊開源文生 3D 動作模型 HY-Motion 1.0,基於 DiT 架構與 flow matching,引數量超 10 億。它涵蓋 6 大類逾 200 種動作,並採用預訓練到強化學習的完整流程最佳化物理真實感,生成的 3D 資產可直接接入動畫管線。