高通開源 Mobile-Wan:手機本地 20 秒生成 5 秒影片,體積不到 10GB
高通研究團隊釋出 Mobile-Wan,把阿里 50 億引數的 Wan 影片生成模型搬到手機本地執行。通過分塊生成、剪枝和 3 步取樣蒸餾,手機無需聯網即可在約 20 秒內生成 5 秒 480p 影片,模型權重僅 9.9GB。
Mobile-Wan 是高通 AI 研究院開源的移動端影片生成系統,它能讓你不連雲端伺服器、不插獨立顯示卡,直接在一部普通商用手機上把文本變成影片。
輸入一段文字提示詞,手機本地大約耗時 20 秒,就能生成一段 5 秒時長、480×832 解析度、每秒 16 幀的動態影片。整個模型打包在 Hugging Face 上的總檔案體積只有 9.9GB,對手機儲存空間非常友好。
怎麼把 50 億引數塞進手機
以往在手機上跑影片擴散模型,為了遷就硬體,模型引數通常被壓縮到 4 億到 18 億之間,生成出來的畫面細節和連貫性往往不太理想。Mobile-Wan 的底子來自阿里開源的 50 億引數大模型 Wan2.2-5B,高通的目標是在手機有限的記憶體和算力下,保留大引數模型的效果。
要把這麼大的模型塞進手機,團隊做了幾項很激進的最佳化。
首先是改變生成方式。模型不再一次性處理所有影片幀,而是把整段影片切成小塊(chunk)分批生成。配合因果線性注意力機制,它在推理時就像一個迴圈神經網路(RNN),每一步只需要佔用極小的恆定記憶體,同時還能維持前後畫面的連續。
其次是大刀闊斧的剪枝。團隊設計了針對影片 DiT 的可學習注意力頭剪枝方案,把模型裡貢獻較小、用處不大的注意力頭直接切除,大幅減少了計算量。
最後是取樣步數和解碼最佳化。傳統的影片擴散模型生成一段內容通常需要迭代 20 到 30 步,Mobile-Wan 通過步數蒸餾把過程壓縮到了僅僅 3 步。再加上一套經過視訊記憶體最佳化的 VAE 解碼器,端到端生成時間才被壓到了 20 秒左右。
在影片質量基準測試 VBench 上,Mobile-Wan 拿下了 83.79 分,重新整理了移動端影片生成的最好成績。
如何上手與當前限制
目前專案已經在 GitHub 和 Hugging Face 上完整公開,包含專案程式碼、壓縮後的模型權重以及論文。
如果你想在手機上體驗,可以直接訪問專案的公開主頁。點選頁面上的程式碼入口並往下翻,就能看到詳細的手機端部署說明和依賴配置教程。
不過需要說明的是,這種極限壓縮並不是毫無代價。研究團隊在主頁上也坦承,在某些複雜運鏡或劇烈動作下,影片仍然會出現時間連貫性不足、畫面區域性形變等失敗案例。
為什麼重要
Mobile-Wan 證明了一件事:在端側跑高質量影片生成,不一定非要從頭訓一個營養不良的輕量小模型,直接對成熟的 5B 級大模型動手術蒸餾剪枝,走得通而且效果更好。
如果你是對本地部署或端側 AI 感興趣的移動開發者,這個專案非常值得拿來研究。它不僅把本地生成影片的門檻從幾萬元的高階顯示卡降到了人手一部的手機,也給移動端影像工具的本地特效渲染指了一條很實用的落地路徑。
來源 (2)
- qualcomm-ai-research.github.io(在新分頁開啟)原文qualcomm-ai-research.github.io
- youtube.com(在新分頁開啟)報導youtube.com