蘋果悄然開源 Ferret：圈出圖片任意區域，多模態 AI 就能精準答疑

Ferret 是蘋果與康奈爾大學聯合開源的多模態大模型，專門用來解決影像區域性識別的難題。你可以在圖片上隨手圈出任意形狀的區域，直接針對這個特定區域性向 AI 提問。

它能做什麼

大多數多模態模型看圖時只能處理整張圖片，或者依賴方方正正的矩形選框。Ferret 不同的地方在於，它允許使用者在圖片中自由塗鴉或圈選任意形狀的區域。

蘋果 AI/ML 研究科學家 Zhe Gan 介紹，Ferret 的核心能力是在影像內以任何形狀、任意粒度去定位和指代任何物體。

它會分析你畫出的區域，找出裡面有價值的元素，用邊界框標出來，再把這個元素作為提問的一部分輸入給語言模型進行回答。

舉個例子，在滿是動物的群像照片裡，如果你隨手圈出其中一隻並提問，它不僅能準確辨認出具體物種，還能理解你指的是群體裡的哪一隻孤立個體，並結合周圍的背景繼續提供更深入的上下文回答。

在對微小細節的捕捉上，研發團隊展示的資料顯示，Ferret 在細小影像區域的精準理解表現上甚至經常優於 GPT-4V。

怎麼獲取與硬體配置

蘋果早在 10 月底就將 Ferret 的程式碼和配套的 Ferret-Bench 基準測試放上了 GitHub，只是當時沒有公開宣傳，幾乎沒有引起外界注意。

到了 12 月 14 日，研究團隊進一步放出了模型權重 checkpoint，社群才逐漸意識到這個專案的存在。醫療 AI 領域的 Bart De Witte 在 X 上感嘆，這個被很多人錯過的釋出展現了蘋果在 AI 研究上的投入。

在硬體訓練成本上，Reddit 網友在 GitHub 程式碼庫中發現，Ferret 是在 8 塊 80GB 視訊記憶體的輝達 A100 GPU 上訓練完成的，這也成了蘋果少見公開承認使用輝達算力的細節。

想要嘗試的研究者可以直接去 GitHub 獲取程式碼和權重。不過需要留意的是，Ferret 目前使用的是非商業許可證，只能用於學術研究和個人實驗，不能直接投入商業化應用。

為什麼重要

對從事計算機視覺和多模態互動的研究者來說，Ferret 非常值得現在就拉下來測試。它打破了傳統規則框選的死板邏輯，為任意塗鴉互動提供了非常紮實的開箱即用範式。

一向以封閉保密著稱的蘋果主動開源權重，我們認為這相當聰明。它既能在伺服器算力規模尚未完全鋪開前藉助開源社群建立聲譽，也能以低成本吸引大量學術界反饋。

不過對於普通開發者和創業團隊而言，它的非商用限制是一道硬門檻。在蘋果未來將其技術正式搬上自身產品或放寬協議之前，它現階段更適合作為研究影像精細化互動的技術參考。