Liquid AI 发布 LFM2-VL:轻量端侧视觉模型,推理速度翻倍
Liquid AI 发布首批端侧视觉语言模型 LFM2-VL,包含 450M 与 1.6B 两种尺寸。模型专为手机、可穿戴等低算力设备设计,GPU 推理速度比同类模型快最高 2 倍。权重已在 Hugging Face 开源,年收入 1000 万美元以下可免费商用。

LFM2-VL 是 Liquid AI 推出的首个端侧视觉语言模型系列,把自家的液态基础模型扩展到了多模态领域。它包含 450M 和 1.6B 两个尺寸,专门给手机、笔记本、可穿戴设备以及边缘单卡环境设计,支持文本和任意比例的图像输入。
它是怎么做到的
LFM2-VL 包含语言模型底座、视觉编码器和多模态投影层三个部分。
它的语言底座来自 LFM2 家族,450M 版本采用 LFM2-350M,1.6B 版本采用 LFM2-1.2B。
视觉部分使用的是 SigLIP2 NaFlex 编码器。450M 版本搭配 86M 的轻量编码器以换取极致速度,1.6B 版本则搭配 400M 的细粒度编码器。编码器原生支持 512×512 分辨率,小图不需要强行拉伸插值,也能直接适配非常规宽高比。
遇到大图时,系统会把它切分成多个 512×512 的不重叠切片。在 1.6B 版本里,模型还会额外看一张原图缩小的全局缩略图,用来把握画面的整体结构。
连接视觉和文本的投影层采用了两层 MLP 和像素重排技术,大幅减少了图像 token 的数量。比如一张 256×384 的图片只会产生 96 个 token,384×680 的图片产生 240 个 token,就算面对 1000×3000 的大图也只有 1020 个 token。
最实用的是,开发者在推理时不需要重新训练模型,就能直接调节最大图像 token 数量和切片数量,在识别精度和延迟之间自己做取舍。
模型整体在约 1000 亿个多模态 token 上训练完成,训练过程中图文比例从最开始的 95% 纯文本逐步过渡到 30%。
速度与实测表现
速度是 LFM2-VL 的核心卖点。在标准的 GPU 测试场景下,处理一张 1024×1024 的图片配简短提示词并生成 100 个 token,LFM2-VL 的推理速度比同类最快模型快了最高 2 倍。
跑分上它也保持了相当的竞争力。1.6B 版本在 RealWorldQA 评测中拿下了 65.23 分,胜过 SmolVLM2-2.2B 的 57.50 分,与 InternVL3-2B 持平。在 MM-IFEval 复杂指令遵循上拿到 37.66 分,明显领先 SmolVLM2 系列。它的 OCRBench 得分为 742 分。
即使是仅有 450M 参数的超小版本,RealWorldQA 得分也有 52.29 分,OCRBench 跑出 655 分,在同级别极小模型里表现亮眼。
怎么用起来
这两个模型现在已经可以在 Hugging Face 上直接下载权重,官方还提供了 Colab 微调示例代码。
软件生态方面,LFM2-VL 目前兼容 Hugging Face transformers 和 TRL,企业用户也可以通过官方的 LEAP 平台进行定制和多平台部署。
许可证基于 Apache 2.0 修改。学术和科研用途完全免费,年营收低于 1000 万美元的企业也可以免费用于商业项目,超过该门槛的公司则需要联系官方获取商业授权。
为什么重要
如果你正在为智能手表、嵌入式摄像头或本地桌面工具寻找极低延迟的看图问答模型,LFM2-VL 很值得一试。以前要在移动端塞进一个视觉模型,要么显存吃紧,要么推理卡顿,而 450M 和 1.6B 的规格把端侧硬件门槛拉得足够低。
我们认为,Liquid AI 聪明的地方在于没有在通用大模型红海里拼参数,而是靠紧凑架构和 token 压缩把端侧速度做到同类两倍。虽然它的纯文本能力和超难图表推理相比数卡大模型仍有距离,但在端侧即时响应的场景下,这套兼顾速度与精度的取舍非常精准。
来源 (1)
- liquid.ai(在新标签页打开)原文liquid.ai