Stability AI、初の日本語対応画像言語モデル「Japanese InstructBLIP Alpha」を公開

Japanese InstructBLIP Alphaは、Stability AIがリリースした初の日本語対応画像言語モデル（VLM）です。画像を入力すると自然な日本語で説明文を生成できるほか、画像についての日本語の質問にも回答できます。

限られたデータで実現したハイブリッド構成

非英語圏のマルチモーダルモデル開発において、最大の課題は高品質な画像・テキストペアの不足です。Stability AIはすべてをゼロから学習させるのではなく、合理的な組み合わせ手法を採用しました。

言語モデルの基盤底層には、同社が先立って公開した70億パラメータの日本語LLM「Japanese StableLM Instruct Alpha 7B」を採用しています。画像理解のアーキテクチャには、各種データセットで高い実績を持つInstructBLIPを組み込みました。

限られた日本語データセットで高精度なモデルを作るため、まず大規模な英語データで事前学習されたInstructBLIPの重みを使ってモデルの一部を初期化。その上で、手元の日本語データセットを用いてファインチューニングを行っています。これにより、英語モデルの豊かな視覚的知識を活かしながら、自然な日本語出力を両立させました。

スカイツリーや金閣寺を認識、画像QAにも対応

一般的な画像キャプションの生成にとどまらず、日本特有の被写体を高い精度で認識できる点が本モデルの特徴です。

例えば観光地の写真を渡した場合、単に「塔」や「寺院」と表現するのではなく、「東京スカイツリー」や「金閣寺」といった日本固有のランドマークを正確に言い当てることができます。

画像と同時に質問テキストを入力することで、対話型の画像QAを行うことも可能です。想定される活用例としては、画像を使った検索エンジン、情景描写や問い合わせ応答、視覚障害者向けの画像テキスト化支援などが挙げられています。

モデルはすでにHugging Face Hubで公開されており、推論テストや追加のファインチューニングが可能です。ただし、本モデルは研究目的での開発となっており、ライセンスも研究目的に限定されています。

なぜ重要か

日本語のマルチモーダル処理や画像対話を研究しているエンジニアにとって、今すぐ検証してみる価値のあるモデルです。これまでのオープン系VLMは英語中心の設計が多く、日本の文化的文脈や固有の建物を正しく把握できないケースが目立っていました。

「英語で事前学習された強力な視覚基盤」と「ローカルLLM」を組み合わせ、限られた現地語データでチューニングするアプローチは、今後の地域特化型AI開発における現実的な手本になります。商用利用ができない研究限定公開という制約はあるものの、日本ローカルの視覚理解を大きく前進させる一歩です。