Google、画像理解と生成を統合した「Vision Banana」発表　分割や深度推定も画像生成で処理

これまでコンピュータビジョンでは、画像を生成するモデルと、物体を認識・分割するモデルは別々に開発されるのが当たり前でした。

Googleが4月22日に発表した「Vision Banana」は、その境界を取り払おうとする野心的な統合モデルです。

同社が公開した論文「Image Generators are Generalist Vision Learners」によると、Vision Bananaは画像生成モデル「Nano Banana Pro」をベースに開発されました。最大の特徴は、セグメンテーションや深度推定といった視覚認識タスクの出力をすべて「RGB画像の生成」として処理している点です。

認識タスクを画像生成に落とし込む

従来の認識モデルのように専用の出力レイヤーを用意するのではなく、プロンプトに応じて適切なマスク画像や深度画像をそのまま生成します。

たとえば「猫の耳、非常口の標識、背景を分割して」と指示すれば、指定通りの色で塗り分けられたセグメンテーション画像を生成します。値札の数字や散らばったニンニクの一片一片を個別に識別して色分けすることも可能です。

3D空間の幾何学的な理解にも対応しています。木の葉が密集した複雑な画像から精細なメトリック深度マップや表面法線マップを生成でき、カメラパラメータと組み合わせれば3D点群データへ直接変換することもできます。

わずかなタスクデータを混ぜて軽量な指示チューニングを行っただけですが、元の画像生成能力を損なうことなくこれらの能力を獲得しました。

驚くべきはその精度です。ゼロショット転移の評価において、Metaの「Segment Anything Model 3」や深度推定の専門モデル「Depth Anything」シリーズに匹敵、あるいはそれを上回る性能を記録しました。

なぜ重要か

私たちは、コンピュータビジョンの開発パラダイムが大きく転換する分岐点に立ち会っていると考えています。

大規模言語モデルが文章生成の事前学習を通じて汎用的な推論能力を獲得したのと同様に、画像生成の事前学習もまた、世界を正しく理解するための強力な視覚表現を獲得できることが実証されました。

開発者にとっては、セグメンテーション用、深度推定用、画像編集用と別々のモデルを組み合わせる必要がなくなり、単一の生成インターフェースで視覚認識からコンテンツ制作まで完結できる未来が見えてきます。

ピクセル単位の厳密な数値精度や推論コストといった実用上の課題は残るものの、生成モデルが認識モデルを飲み込んでいく流れは今後さらに加速しそうです。