跳到正文
IFAI

大模型

Liquid AI 釋出 LFM2-VL:輕量端側視覺模型,推理速度翻倍

首次發布 傳播指數 48

Liquid AI 釋出首批端側視覺語言模型 LFM2-VL,包含 450M 與 1.6B 兩種尺寸。模型專為手機、可穿戴等低算力裝置設計,GPU 推理速度比同類模型快最高 2 倍。權重已在 Hugging Face 開源,年收入 1000 萬美元以下可免費商用。

Liquid AI 釋出 LFM2-VL:輕量端側視覺模型,推理速度翻倍
圖:liquid.ai

LFM2-VL 是 Liquid AI 推出的首個端側視覺語言模型系列,把自家的液態基礎模型擴充套件到了多模態領域。它包含 450M 和 1.6B 兩個尺寸,專門給手機、筆記本、可穿戴裝置以及邊緣單卡環境設計,支援文本和任意比例的影像輸入。

它是怎麼做到的

LFM2-VL 包含語言模型底座、視覺編碼器和多模態投影層三個部分。

它的語言底座來自 LFM2 家族,450M 版本採用 LFM2-350M,1.6B 版本採用 LFM2-1.2B。

視覺部分使用的是 SigLIP2 NaFlex 編碼器。450M 版本搭配 86M 的輕量編碼器以換取極致速度,1.6B 版本則搭配 400M 的細粒度編碼器。編碼器原生支援 512×512 解析度,小圖不需要強行拉伸插值,也能直接適配非常規寬高比。

遇到大圖時,系統會把它切分成多個 512×512 的不重疊切片。在 1.6B 版本里,模型還會額外看一張原圖縮小的全域性縮圖,用來把握畫面的整體結構。

連線視覺和文本的投影層採用了兩層 MLP 和畫素重排技術,大幅減少了影像 token 的數量。比如一張 256×384 的圖片只會產生 96 個 token,384×680 的圖片產生 240 個 token,就算面對 1000×3000 的大圖也只有 1020 個 token。

最實用的是,開發者在推理時不需要重新訓練模型,就能直接調節最大影像 token 數量和切片數量,在識別精度和延遲之間自己做取捨。

模型整體在約 1000 億個多模態 token 上訓練完成,訓練過程中圖文比例從最開始的 95% 純文本逐步過渡到 30%。

速度與實測表現

速度是 LFM2-VL 的核心賣點。在標準的 GPU 測試場景下,處理一張 1024×1024 的圖片配簡短提示詞並生成 100 個 token,LFM2-VL 的推理速度比同類最快模型快了最高 2 倍。

跑分上它也保持了相當的競爭力。1.6B 版本在 RealWorldQA 評測中拿下了 65.23 分,勝過 SmolVLM2-2.2B 的 57.50 分,與 InternVL3-2B 持平。在 MM-IFEval 複雜指令遵循上拿到 37.66 分,明顯領先 SmolVLM2 系列。它的 OCRBench 得分為 742 分。

即使是僅有 450M 引數的超小版本,RealWorldQA 得分也有 52.29 分,OCRBench 跑出 655 分,在同級別極小模型裡表現亮眼。

怎麼用起來

這兩個模型現在已經可以在 Hugging Face 上直接下載權重,官方還提供了 Colab 微調示例程式碼。

軟體生態方面,LFM2-VL 目前相容 Hugging Face transformers 和 TRL,企業使用者也可以通過官方的 LEAP 平臺進行定製和多平臺部署。

許可證基於 Apache 2.0 修改。學術和科研用途完全免費,年營收低於 1000 萬美元的企業也可以免費用於商業專案,超過該門檻的公司則需要聯絡官方獲取商業授權。

為什麼重要

如果你正在為智慧手錶、嵌入式攝像頭或本地桌面工具尋找極低延遲的看圖問答模型,LFM2-VL 很值得一試。以前要在移動端塞進一個視覺模型,要麼視訊記憶體吃緊,要麼推理卡頓,而 450M 和 1.6B 的規格把端側硬體門檻拉得足夠低。

我們認為,Liquid AI 聰明的地方在於沒有在通用大模型紅海里拼引數,而是靠緊湊架構和 token 壓縮把端側速度做到同類兩倍。雖然它的純文本能力和超難圖表推理相比數卡大模型仍有距離,但在端側即時響應的場景下,這套兼顧速度與精度的取捨非常精準。

來源 (1)

  1. [1]
    liquid.ai(在新分頁開啟)原文liquid.ai

每日 AI 內容精選