斯坦福開源 Tokasaurus:專注高吞吐推理,效能超 vLLM 達 3 倍
斯坦福團隊開源大模型推理引擎 Tokasaurus,專為合成數據生成與批次任務等高吞吐場景設計。它通過極低 CPU 開銷與動態字首複用最佳化小模型,並針對無 NVLink 顯示卡最佳化流水線並行,吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。
斯坦福團隊開源大模型推理引擎 Tokasaurus,專為合成數據生成與批次任務等高吞吐場景設計。它通過極低 CPU 開銷與動態字首複用最佳化小模型,並針對無 NVLink 顯示卡最佳化流水線並行,吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。
騰訊混元與騰訊音樂聯合推出並開源 HunyuanVideo-Avatar。使用者只需上傳一張照片和一段音訊,模型就能自動感知場景與情緒,生成最長 14 秒的逼真說話或唱歌影片。目前單人模式已在 GitHub 開源,多人互動模式也將於近期開放。
WordPress 宣佈成立官方 AI 團隊,由 Automattic、Google 等成員共同牽頭。團隊將採用類似效能團隊的「官方外掛優先」模式快速試水 AI 功能,避免碎片化,開發者不用苦等核心大版本更新。
Mistral 聯合 All Hands AI 推出專為程式設計打造的模型 Devstral。該模型擁有 240 億引數,採用 Apache 2.0 協議可自由商用,單張 RTX 4090 或 32GB 記憶體 Mac 即可本地部署。其在基準測試中超越了 Gemma 3 27B 和 DeepSeek 的 V3。
Stability AI 釋出 Stable Video 4D 2.0。新模型無需多角度參考圖或多相機拍攝,僅憑一段以物體為中心的普通影片即可生成連貫的動態 4D 資產併合成新視角。模型已開源且開放商用,但劇烈運動下仍可能存在瑕疵。
Google 釋出端側開放模型 Gemma 3n 預覽版。新模型採用 DeepMind 的 PLE 技術,讓 5B 和 8B 模型的動態記憶體佔用降至 2GB 和 3GB,支援本地音影片及圖文多模態處理。最值得關注的是,該架構還將用於下一代 Gemini Nano。
Stability AI 聯合 Arm 開源了 3.41 億引數的音訊模型 Stable Audio Open Small。該模型專為 Arm CPU 最佳化,能在智慧手機上不到 8 秒生成最長 11 秒的立體聲音訊。模型基於社群許可免費商用,適合生成擬音和伴奏迴圈。
Lightricks 開源 130 億引數影片生成模型 LTX Video-13B。新模型引入多尺度分步渲染,高解析度渲染速度最高達同規模競品的 30 倍,經量化最佳化後單張消費級顯示卡就能本地跑。年營收低於 1000 萬美元的機構可免費商用。
Nvidia 在 Hugging Face 開源語音識別模型 Parakeet-TDT-0.6B-v2。引數量 6 億,在自家 GPU 上僅需 1 秒就能轉錄 1 小時音訊,登頂開源 ASR 榜單。最值得關注的是其採用 CC-BY-4.0 協議,允許開發者免費商用。
週四,非營利機構 Ai2 釋出 10 億引數開源模型 Olmo 2 1B,開放了全部程式碼與訓練資料集。它在算術與真實性測試中跑分超越 Google Gemma 3 與 Meta Llama 3.2 同級模型,能在現代筆記本或移動裝置上輕鬆執行。Ai2 建議暫不用於商業部署。
Microsoft 宣佈開源推理模型 Phi-4-reasoning-plus。這個 14B 引數的小模型走精煉路線,在 AIME 2025 數學測試中的 pass@1 成績超過了 70B 的 DeepSeek-R1 蒸餾版。最值得關注的是它採用寬鬆的 MIT 協議,相容 Ollama 和 vLLM,支援本地直接部署。
Intel 介紹了模型量化工具 AutoRound。它通過符號梯度下降聯合最佳化權重舍入與截斷範圍,在 INT2 精度下相對準確率最高比主流基準提升 2.1 倍。輕量模式下量化 72B 模型僅需 37 分鐘,並支援匯出 GPTQ、AWQ 和 GGUF 等格式。
據 TechCrunch 報道,OpenAI 計劃在初夏推出的開源推理模型中加入「交接」(handoff)功能,本地遇到複雜問題可直接呼叫雲端更強模型。該模型從零訓練,部分基準測試瞄準超越 DeepSeek R1。這種本地加雲端的打法,顯然是想順便把開源開發者拉進其付費生態。
韓國團隊 Nari Labs 開源了文本轉語音模型 Dia。該模型由兩名幾乎沒有 AI 經驗的本科生在零外部融資下開發,引數量為 16 億,支援情緒語調、多說話人及笑聲、咳嗽等副語言表達,對比測試表現逼平甚至超越 ElevenLabs。這也印證了個人開發者叫板行業巨頭的可能性。
Google 釋出採用量化感知訓練(QAT)的 Gemma 3 模型版本。通過將模型壓縮至 4 位(int4),視訊記憶體佔用大幅下降,困惑度下降幅度減少了 54%。這意味著原本需要昂貴算力卡的 27B 大模型,如今在單張 RTX 3090 顯示卡上就能直接本地執行。
LTX Studio 釋出 LTXV 0.9.6 更新,推出兩款 2B 引數開源影片模型。新版分為面向成片渲染的完整質量版,以及主打快速預覽與輕量化部署的蒸餾版,整體生成速度和穩定性都有所提升。
阿里巴巴開源 14B 引數影片生成模型 Wan2.1-FLF2V,允許創作者通過輸入起始和結束兩幀來生成過渡影片。該模型利用附加控制機制注入首尾幀的語義特徵,以維持畫風一致與複雜動作平滑,官網支援免費生成 5 秒 720p 影片。程式碼與權重已上線 GitHub 與 Hugging Face。