苹果悄然开源 Ferret：圈出图片任意区域，多模态 AI 就能精准答疑

Ferret 是苹果与康奈尔大学联合开源的多模态大模型，专门用来解决图像局部识别的难题。你可以在图片上随手圈出任意形状的区域，直接针对这个特定局部向 AI 提问。

它能做什么

大多数多模态模型看图时只能处理整张图片，或者依赖方方正正的矩形选框。Ferret 不同的地方在于，它允许用户在图片中自由涂鸦或圈选任意形状的区域。

苹果 AI/ML 研究科学家 Zhe Gan 介绍，Ferret 的核心能力是在图像内以任何形状、任意粒度去定位和指代任何物体。

它会分析你画出的区域，找出里面有价值的元素，用边界框标出来，再把这个元素作为提问的一部分输入给语言模型进行回答。

举个例子，在满是动物的群像照片里，如果你随手圈出其中一只并提问，它不仅能准确辨认出具体物种，还能理解你指的是群体里的哪一只孤立个体，并结合周围的背景继续提供更深入的上下文回答。

在对微小细节的捕捉上，研发团队展示的数据显示，Ferret 在细小图像区域的精准理解表现上甚至经常优于 GPT-4V。

怎么获取与硬件配置

苹果早在 10 月底就将 Ferret 的代码和配套的 Ferret-Bench 基准测试放上了 GitHub，只是当时没有公开宣传，几乎没有引起外界注意。

到了 12 月 14 日，研究团队进一步放出了模型权重 checkpoint，社区才逐渐意识到这个项目的存在。医疗 AI 领域的 Bart De Witte 在 X 上感叹，这个被很多人错过的发布展现了苹果在 AI 研究上的投入。

在硬件训练成本上，Reddit 网友在 GitHub 代码库中发现，Ferret 是在 8 块 80GB 显存的英伟达 A100 GPU 上训练完成的，这也成了苹果少见公开承认使用英伟达算力的细节。

想要尝试的研究者可以直接去 GitHub 获取代码和权重。不过需要留意的是，Ferret 目前使用的是非商业许可证，只能用于学术研究和个人实验，不能直接投入商业化应用。

为什么重要

对从事计算机视觉和多模态交互的研究者来说，Ferret 非常值得现在就拉下来测试。它打破了传统规则框选的死板逻辑，为任意涂鸦交互提供了非常扎实的开箱即用范式。

一向以封闭保密著称的苹果主动开源权重，我们认为这相当聪明。它既能在服务器算力规模尚未完全铺开前借助开源社区建立声誉，也能以低成本吸引大量学术界反馈。

不过对于普通开发者和创业团队而言，它的非商用限制是一道硬门槛。在苹果未来将其技术正式搬上自身产品或放宽协议之前，它现阶段更适合作为研究图像精细化交互的技术参考。