跳到正文
IFAI

开源项目

高通开源 Mobile-Wan:手机本地 20 秒生成 5 秒视频,体积不到 10GB

首次发布 传播指数 59

高通研究团队发布 Mobile-Wan,把阿里 50 亿参数的 Wan 视频生成模型搬到手机本地运行。通过分块生成、剪枝和 3 步采样蒸馏,手机无需联网即可在约 20 秒内生成 5 秒 480p 视频,模型权重仅 9.9GB。

图:youtube.com

Mobile-Wan 是高通 AI 研究院开源的移动端视频生成系统,它能让你不连云端服务器、不插独立显卡,直接在一部普通商用手机上把文本变成视频。

输入一段文字提示词,手机本地大约耗时 20 秒,就能生成一段 5 秒时长、480×832 分辨率、每秒 16 帧的动态视频。整个模型打包在 Hugging Face 上的总文件体积只有 9.9GB,对手机存储空间非常友好。

怎么把 50 亿参数塞进手机

以往在手机上跑视频扩散模型,为了迁就硬件,模型参数通常被压缩到 4 亿到 18 亿之间,生成出来的画面细节和连贯性往往不太理想。Mobile-Wan 的底子来自阿里开源的 50 亿参数大模型 Wan2.2-5B,高通的目标是在手机有限的内存和算力下,保留大参数模型的效果。

要把这么大的模型塞进手机,团队做了几项很激进的优化。

首先是改变生成方式。模型不再一次性处理所有视频帧,而是把整段视频切成小块(chunk)分批生成。配合因果线性注意力机制,它在推理时就像一个循环神经网络(RNN),每一步只需要占用极小的恒定内存,同时还能维持前后画面的连续。

其次是大刀阔斧的剪枝。团队设计了针对视频 DiT 的可学习注意力头剪枝方案,把模型里贡献较小、用处不大的注意力头直接切除,大幅减少了计算量。

最后是采样步数和解码优化。传统的视频扩散模型生成一段内容通常需要迭代 20 到 30 步,Mobile-Wan 通过步数蒸馏把过程压缩到了仅仅 3 步。再加上一套经过显存优化的 VAE 解码器,端到端生成时间才被压到了 20 秒左右。

在视频质量基准测试 VBench 上,Mobile-Wan 拿下了 83.79 分,刷新了移动端视频生成的最好成绩。

如何上手与当前限制

目前项目已经在 GitHub 和 Hugging Face 上完整公开,包含项目代码、压缩后的模型权重以及论文。

如果你想在手机上体验,可以直接访问项目的公开主页。点击页面上的代码入口并往下翻,就能看到详细的手机端部署说明和依赖配置教程。

不过需要说明的是,这种极限压缩并不是毫无代价。研究团队在主页上也坦承,在某些复杂运镜或剧烈动作下,视频仍然会出现时间连贯性不足、画面局部形变等失败案例。

为什么重要

Mobile-Wan 证明了一件事:在端侧跑高质量视频生成,不一定非要从头训一个营养不良的轻量小模型,直接对成熟的 5B 级大模型动手术蒸馏剪枝,走得通而且效果更好。

如果你是对本地部署或端侧 AI 感兴趣的移动开发者,这个项目非常值得拿来研究。它不仅把本地生成视频的门槛从几万元的高端显卡降到了人手一部的手机,也给移动端影像工具的本地特效渲染指了一条很实用的落地路径。

来源 (2)

  1. [1]
    qualcomm-ai-research.github.io(在新标签页打开)原文qualcomm-ai-research.github.io
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选