Cactus 開源超小視覺模型 Mirage：僅 22MB，手機端 74 毫秒搞定識圖與分割

以前想在手機或穿戴裝置上跑個視覺模型，擺在面前的選擇其實挺尷尬的：要麼老老實實呼叫雲端 API，忍受網路延遲和隱私風險；要麼在本地塞進好幾個 G 的大模型，機器發燙不說，看一張圖還得等上好幾秒。

Cactus 推出的超輕量視覺模型 Mirage，走了一條完全相反的極端路線。它的引數量只有 5130 萬，通過 2 位量化壓縮後，整個模型檔案只有 21.6 MB，也就是一張高畫質桌布的大小。

更亮眼的是速度。在三星 Galaxy S26 的 NPU 上跑一次完整的端到端推理，耗時只要 74 毫秒，就算只用 CPU 也只要 107 毫秒。也就是說，只要你抬手拍下一張照片，甚至眨眼的功夫，本地晶片就已經把它裡裡外外看透了。

一張照片掃一遍，什麼都看清了

Mirage 最有意思的地方在於它不挑活。很多輕量模型往往只能專精一項，做檢測的搞不定文字，讀文字的做不了分割。但 Mirage 只要跑一次前向傳播，就能把場景資訊扒得乾乾淨淨。

它會直接給你的應用吐出一份現成的結構化 JSON 記錄。裡面不僅包含用英語、德語、法語等 7 種語言生成的場景概括，還附帶了開放詞彙的目標檢測框、物體的點陣圖或輪廓分割掩碼，以及影像裡每一行文字的 OCR 識別結果。

除了把東西認出來，它還能理順畫面裡的邏輯。比如哪個杯子放在哪張桌子上、標牌連在哪根柱子上，它會把這些空間關係串成一個小型的場景圖譜。如果你的應用只需要二選一，比如判斷流水線上零件是否合格，它也能直接針對給定的標籤輸出判定機率。

怎麼把模型塞進 22MB 的

把這麼多功能塞進 22 MB，光靠無腦量化肯定會把模型壓壞。Cactus 在架構上做了不少精巧的裁剪。

它的編碼器沒有使用計算沉重的全矩陣混合，而是用固定的 Walsh-Hadamard 變換搭配三組帶狀卷積，把儲存權重削減到了常規矩陣的八分之一左右。8 層結構的解碼器則沿用了他們之前 Needle 和 Whistle 模型的輕量注意力架構，儘量複用影像特徵快取。

在精度分配上，他們把大部分量化矩陣壓到了 2 位，但關鍵的嵌入層和路由矩陣保留了 4 位，核心卷積頻帶依然保留 16 位浮點數，這才保住了複雜視覺任務的底線。

他們甚至還做了一個實驗，把 Mirage 抽出來的結構化感知文本餵給只有 6 億引數的 Qwen3-0.6B 小語言模型。語言模型一眼畫素都沒看，光靠讀 Mirage 整理好的文字與座標，就能回答不少常識提問。感知歸感知，推理歸推理，兩邊互不拖累。

為什麼重要

我們認為，Mirage 這次最聰明的地方，是它沒有盲目去卷大語言多模態模型的生成能力，而是重新審視了端側裝置的真實痛點。

對開發者和智慧硬體來說，現在的機器人、智慧眼鏡或手機應用，大部分時候不需要 AI 陪自己長篇大論，真正要命的需求是快、準、省電。如果要在本地即時避障、識讀路牌或者做手勢互動，Mirage 這種 74 毫秒出結果的結構化輸出，比動輒幾秒才吐出幾個字的端側大模型實用得多。

當然，侷限同樣很明顯。5130 萬的引數量決定了它的泛化上限，它不可能具備深邃的視覺推理能力。官方在 VQA 測試裡也發現，模型自帶的推理鏈對答案准確率並沒有帶來穩定的正向收益，稍微遇到複雜的歧義場景，依然容易漏判或誤判。

但這依然給端側 AI 指了一條極具價效比的新路：與其死磕在手機上塞一個十幾億引數的龐然大物，不如用幾十兆的專用感知核心先把髒活累活幹完，把最清爽的資料留給下游業務。