AppleがマルチモーダルAI「Ferret」を静かにオープンソース公開、画像の自由な領域を認識

Ferretは、画像内の特定エリアを指定して質問できる、Appleとコーネル大学が共同開発したオープンソースのマルチモーダル大規模言語モデルです。画像全体ではなく、ユーザーが手描きした自由な形状の領域を認識して的確に対話できます。

何ができるのか

一般的なマルチモーダルAIは画像全体を処理するか、四角いバウンディングボックスの指定に依存することが大半です。しかしFerretは、ユーザーが画面上に描いた任意の形の囲み線や領域をそのまま入力として受け取れます。

AppleのAI/ML研究者であるZhe Gan氏によると、Ferretは画像内のあらゆる場所、あらゆる粒度で物体を指示・検出できる点が特徴です。

指定された領域内の要素を特定して境界ボックスを描き出し、その要素をプロンプトの一部として組み込んで回答を生成します。

たとえば、複数の動物が写った写真の中から1頭だけを囲んで質問した場合、その動物の種類を特定するだけでなく、群れの中の特定の個体を指していることを正しく理解し、周囲の文脈も踏まえて詳しい答えを返します。

研究チームのデータによれば、小さな画像領域における高精度な理解力においては、GPT-4Vを上回る結果をしばしば示しているといいます。

仕様と公開状況

Appleは10月30日にGitHubへFerretのコードとベンチマーク「Ferret-Bench」を静かに公開し、12月14日には重みチェックポイントを追加しました。

当初は公式発表もなく見過ごされていましたが、12月に入って医療AI分野のBart De Witte氏らがXで言及したことで大きな注目を集めました。また、Redditのユーザーによって、このモデルが8基のNVIDIA A100（80GBメモリ）GPUでトレーニングされたことが発見され、Appleによる珍しいNVIDIA製品の使用例としても話題になりました。

コードとチェックポイントは現在GitHubから入手可能です。ただし、提供されているのは非商用ライセンスのため、現時点では学術研究や実験用途に限定されており、商用利用は認められていません。

なぜ重要か

画像内の細かい領域指定やグラウンディング技術を研究している開発者にとっては、今すぐ検証する価値のあるモデルです。従来の四角い枠にとらわれない柔軟な入力インターフェースは、画像認識の実用性を大きく引き上げます。

秘密主義で知られるAppleがオープンソースとして重みまで公開した点も、戦略として巧妙だと考えられます。ChatGPTのような巨大サービスと直接張り合える自前の計算基盤を整える過程で、まずはオープンコミュニティからの知見や信頼を獲得できるからです。

一方で、非商用ライセンスという制約があるため、プロダクトへの即時組み込みを狙う開発者には向いていません。将来的にAppleのOSやサービスに組み込まれる可能性を見据えた、最先端の技術リファレンスとして触れてみるのが賢い付き合い方です。