Cactus 开源超小视觉模型 Mirage：仅 22MB，手机端 74 毫秒搞定识图与分割

以前想在手机或穿戴设备上跑个视觉模型，摆在面前的选择其实挺尴尬的：要么老老实实调用云端 API，忍受网络延迟和隐私风险；要么在本地塞进好几个 G 的大模型，机器发烫不说，看一张图还得等上好几秒。

Cactus 推出的超轻量视觉模型 Mirage，走了一条完全相反的极端路线。它的参数量只有 5130 万，通过 2 位量化压缩后，整个模型文件只有 21.6 MB，也就是一张高清壁纸的大小。

更亮眼的是速度。在三星 Galaxy S26 的 NPU 上跑一次完整的端到端推理，耗时只要 74 毫秒，就算只用 CPU 也只要 107 毫秒。也就是说，只要你抬手拍下一张照片，甚至眨眼的功夫，本地芯片就已经把它里里外外看透了。

一张照片扫一遍，什么都看清了

Mirage 最有意思的地方在于它不挑活。很多轻量模型往往只能专精一项，做检测的搞不定文字，读文字的做不了分割。但 Mirage 只要跑一次前向传播，就能把场景信息扒得干干净净。

它会直接给你的应用吐出一份现成的结构化 JSON 记录。里面不仅包含用英语、德语、法语等 7 种语言生成的场景概括，还附带了开放词汇的目标检测框、物体的位图或轮廓分割掩码，以及图像里每一行文字的 OCR 识别结果。

除了把东西认出来，它还能理顺画面里的逻辑。比如哪个杯子放在哪张桌子上、标牌连在哪根柱子上，它会把这些空间关系串成一个小型的场景图谱。如果你的应用只需要二选一，比如判断流水线上零件是否合格，它也能直接针对给定的标签输出判定概率。

怎么把模型塞进 22MB 的

把这么多功能塞进 22 MB，光靠无脑量化肯定会把模型压坏。Cactus 在架构上做了不少精巧的裁剪。

它的编码器没有使用计算沉重的全矩阵混合，而是用固定的 Walsh-Hadamard 变换搭配三组带状卷积，把存储权重削减到了常规矩阵的八分之一左右。8 层结构的解码器则沿用了他们之前 Needle 和 Whistle 模型的轻量注意力架构，尽量复用图像特征缓存。

在精度分配上，他们把大部分量化矩阵压到了 2 位，但关键的嵌入层和路由矩阵保留了 4 位，核心卷积频带依然保留 16 位浮点数，这才保住了复杂视觉任务的底线。

他们甚至还做了一个实验，把 Mirage 抽出来的结构化感知文本喂给只有 6 亿参数的 Qwen3-0.6B 小语言模型。语言模型一眼像素都没看，光靠读 Mirage 整理好的文字与坐标，就能回答不少常识提问。感知归感知，推理归推理，两边互不拖累。

为什么重要

我们认为，Mirage 这次最聪明的地方，是它没有盲目去卷大语言多模态模型的生成能力，而是重新审视了端侧设备的真实痛点。

对开发者和智能硬件来说，现在的机器人、智能眼镜或手机应用，大部分时候不需要 AI 陪自己长篇大论，真正要命的需求是快、准、省电。如果要在本地实时避障、识读路牌或者做手势交互，Mirage 这种 74 毫秒出结果的结构化输出，比动辄几秒才吐出几个字的端侧大模型实用得多。

当然，局限同样很明显。5130 万的参数量决定了它的泛化上限，它不可能具备深邃的视觉推理能力。官方在 VQA 测试里也发现，模型自带的推理链对答案准确率并没有带来稳定的正向收益，稍微遇到复杂的歧义场景，依然容易漏判或误判。

但这依然给端侧 AI 指了一条极具性价比的新路：与其死磕在手机上塞一个十几亿参数的庞然大物，不如用几十兆的专用感知核心先把脏活累活干完，把最清爽的数据留给下游业务。