跳到正文
IFAI

大模型

阿里巴巴釋出 Qwen3.8-Flash:125B 開源多模態 MoE,啟用僅 6B

首次發布 傳播指數 53

阿里巴巴釋出開源多模態 MoE 模型 Qwen3.8-Flash,總引數 125B 且每 token 僅啟用 6B。原生支援 262K 上下文,API 輸入每百萬 token 僅 1 元。該模型提前驗證了 Qwen4 的全新架構,目前權重已在 Hugging Face 與魔搭社群開源。

阿里巴巴釋出 Qwen3.8-Flash:125B 開源多模態 MoE,啟用僅 6B
圖:alibabacloud.com

Qwen3.8-Flash 是阿里巴巴剛開源的多模態 MoE 模型,主打極高價效比,直接面向高併發業務、程式碼助手和複雜 Agent 工作流。

它的總引數量達到 125B,另外補充了 51B 的 N-gram 嵌入,但每個 token 實際僅啟用 6B 引數。它在原生狀態下支援 262K 上下文,最長能擴充套件到 100 萬 token,並且提前應用了為下一代 Qwen4 準備的新架構。

它能做什麼

這個模型的核心定位是乾重活的同時幫你省錢,尤其擅長自主程式設計、長流程辦公協作和多模態任務。

在基準測試中,它對標 DeepSeek-V4-Flash 和 Claude-Opus-4.6,在智慧體程式設計測試 SWE-bench Pro、長流程辦公測試 CoWorkBench,以及工具呼叫測試 Toolathlon Verified 上表現亮眼。

多模態能力上,它在視覺數學 MathVision、移動端智慧體 AndroidWorld 以及具身智慧測試 ERQA 上的成績同樣拿得出手。

在實際業務落地中,阿里巴巴自家的協同辦公平臺 QwenWork 已經換上了它。升級後的標準模式讓每個任務的 token 消耗降低了 75%,生成速度相比此前版本直接翻倍。

怎麼做到的與架構規格

讓 125B 大體量跑出小模型速度,關鍵在於底層的一整套架構改造。

在注意力機制上,它採用了混合注意力方案,把擅長壓縮歷史資訊的 Gated DeltaNet 與稀疏注意力 QSA 結合在一起。長序列場景下,它靠輕量級壓縮索引器篩選上下文,大幅拉低了計算開銷。

網路連線引入了門控殘差機制,拓寬層間通道並提升訓練穩定性;51B 的 N-gram 嵌入則在幾乎不增加計算負擔的前提下擴大了模型容量。訓練階段,它還用上了 Muon 最佳化器。

得益於這套設計,相比體量是它三倍的 Qwen3.7-Plus,Qwen3.8-Flash 僅消耗大約九分之一的訓練算力,卻在程式設計和辦公任務上實現了反超。

怎麼上手與獲取方式

模型的權重已經完整開放,開發者可以直接在 Hugging Face 和魔搭社群免費下載。

如果不想本地部署,也可以直接走 API。阿里雲百鍊(Model Studio)和千問雲平臺已經上線了該模型介面。

呼叫定價非常激進,輸入端每百萬 token 售價 1 元人民幣(約 0.16 美元),輸出端每百萬 token 售價 3 元人民幣(約 0.47 美元)。

為什麼重要

如果你的團隊正在搭建重度依賴程式碼補全、工具呼叫或長上下文解析的 Agent 系統,這個模型非常值得第一時間拉下來跑跑看。它把旗艦級任務的推理成本打到了極低的水位,算力開銷僅相當於一個小引數模型。

我們認為,Qwen3.8-Flash 最大的看點不僅在於擊穿了推理價格,還在於它給接下來的 Qwen4 摸清了架構路線。混合注意力加上極低啟用引數的 MoE 路線如果全面跑通,開源陣營在長文本和複雜推理上的門檻會被進一步削平。

來源 (1)

  1. [1]
    alibabacloud.com(在新分頁開啟)原文alibabacloud.com

每日 AI 內容精選