微软开源视觉模型 Florence-2：小至 232M，一个模型通吃多种图像任务

Florence-2 是微软开源的一个轻量级视觉基础模型，能让你用一个模型解决几乎所有常见的计算机视觉任务。

以往做视觉开发非常折腾，做图像描述要找一个模型，做物体检测得找第二个，做精细的图像分割还得找第三个。Florence-2 把这些任务全部打包成一套类似大语言模型的交互方式，只要输入图片和对应的文本提示词，它就能直接输出对应的文字描述或坐标结果。

它能做什么，怎么做到的

Florence-2 最大的特点就是小而全。模型只提供了 232M 和 771M 两个参数版本，这种体积即便放在普通的个人电脑或边缘设备上，运行起来也毫无压力。

它采用序列到序列的架构，内部整合了一个图像编码器和一个多模态编码解码器。不管你让它圈出图里的猫，还是详细描述画面背景，模型处理的逻辑都是统一的：接收图像和文本提示，直接生成结构化的文本结果。

为了训练出这种通吃能力，微软先用专门模型生成了一个名为 FLD-5B 的庞大视觉数据集，里面包含 1.26 亿张图片和整整 54 亿条标注信息。这些标注全部被统一转换成文本格式，让模型用同一种损失函数完成多任务训练。

越级打大模型的实际表现

虽然体量极小，但 Florence-2 在多项基准测试中的表现相当亮眼。

在 COCO 数据集的零样本图像描述测试中，232M 版本拿到了 133 分，771M 版本拿下 135.6 分。这一成绩直接击败了参数量高达 80B 的 DeepMind Flamingo 模型，也优于微软之前专门用于视觉定位的 Kosmos-2。

在经过少量公开标注数据微调后，它在视觉问答、目标检测和语义分割等任务上依然能抗衡不少大体积专用模型。相比传统的 ImageNet 预训练骨干网络，Florence-2 将下游微调的训练效率提高了 4 倍，在 COCO 和 ADE20K 上的分数分别提升了 6.9、5.5 和 5.9 点。

目前预训练和微调后的两个尺寸版本都已经上传到了 Hugging Face。项目采用极其宽松的 MIT 协议，无论是个人折腾还是企业商用，都可以自由下载、修改和部署。

为什么重要

如果你是正在搭建视觉管道的开发者，或者需要把图像分析功能塞进资源有限的本地环境，Florence-2 非常值得立刻试试。它最大的价值是帮你省掉了维护多个专用模型的运维和显存成本，用极低的算力门槛就能跑通多项任务。

对整个行业来说，它证明了高质量多任务合成数据对小模型的巨大价值。视觉领域一直在盲目卷大模型，而 Florence-2 这种用文本统一各类视觉表征的路线，很可能会加速轻量级全能视觉工具在端侧的普及。不过需要提醒的是，它在真实复杂业务场景下的泛化表现到底如何，依然有待社区开发者进一步验证。