Hugging Face 開源 SmolVLM2：最小僅 256M，手機也能看懂影片

SmolVLM2 是 Hugging Face 推出的輕量級多模態模型家族，專門用來在各種低算力裝置上執行影片與多圖理解任務。

這套模型一共提供三個尺寸：2.2B、500M 以及極小的 256M。它們直接打破了影片模型必須依賴雲端高視訊記憶體的門檻，甚至能在 iPhone、Mac 本地以及免費的 Google Colab 上跑起來。

它能做什麼，表現怎麼樣

主力款 2.2B 模型在影像解題、照片文字識別、複雜圖表和科學視覺問答上都有明顯提升。

在涵蓋 900 個影片、長達 254 小時的綜合基準 Video-MME 測試中，2.2B 版本的成績超過了目前現有的所有 2B 級別模型。

更亮眼的是 500M 版本。官方借鑑了 Apollo 論文中的資料混合經驗，讓 500M 模型用不到四分之一的引數量，拿到了非常接近 2.2B 的影片理解效果。

至於 256M 則屬於探索性質的實驗版本，也是目前開源領域最小的影片語言模型，適合開發者做定製化微調。

在實際功能上，SmolVLM2 不僅支援同時輸入多張圖片做對比，還能處理超過一小時的長影片，自動抽取關鍵的高光時刻。

怎麼在本地跑起來

SmolVLM2 釋出當天就補齊了 Transformers 和蘋果 MLX 生態的支援。

Python 開發者可以直接使用 Transformers 庫的對話模版，把影片檔案路徑或圖片連結喂進去就能得到結構化回答。

蘋果使用者則可以通過 mlx-vlm 庫跑 Python 指令碼，或者直接用 Swift 呼叫。在 Mac 上，一行命令就能用未量化的 500M 模型進行影片內容分析。

官方還展示了幾個具體落地原型：一個完全在 iPhone 本地離線執行的影片理解應用，以及與 VLC 播放器合作的語義搜尋原型，輸入一句自然語言就能跳轉到對應的影片片段。

目前所有模型權重已經在 Hugging Face 上線，500M 版本還附帶了一份免費的 Colab 全量微調教程。

為什麼重要

我們認為，SmolVLM2 最大的價值在於把影片理解從雲端大模型拉進了終端裝置。過去做端側影片分析、智慧相簿或監控切片，哪怕量化模型也常常把手機或邊緣盒子跑崩，而 500M 的體積讓全天候常駐成為現實。

如果你是移動端開發者或邊緣計算玩家，非常值得現在去嘗試它的 MLX 實現。不過也要看到，極端緊湊的引數量決定了它處理複雜因果邏輯的能力有限，更適合做影片檢索與狀態判斷的專用探針，而不是通用的全能助手。