Alibabaが視覚言語モデル「Qwen-VL」をオープンソース公開、画像の読解に対応

Alibabaは金曜日、画像を読み取って自然言語で応答できる2つのオープンソース視覚言語モデル「Qwen-VL」と「Qwen-VL-Chat」を公開しました。

テキストのみを扱う一般的な言語モデルとは異なり、画像を入力として受け取り、その内容を直接理解して処理できるのが特徴です。

主な機能とユースケース

ベースモデルとなるQwen-VLは既存の画像認識モデルのアップデート版で、より高い解像度の画像を読み取れるよう設計されています。

対話型のQwen-VL-Chatは、より複雑な実務タスクに対応します。例えば、街頭や病院にある中国語の案内標識を撮影して読み込ませると、内容を英語に翻訳して道案内を行えます。

写真に写った手書きや印刷の数式を読み取って解くことや、報道写真に適したキャプションを自動作成することも可能です。

さらに、複数の画像を一度に読み込み、それらの関連性を整理して1つのストーリーとして説明する複数画像の要約能力も備えています。

視覚障がい者の支援にも活用でき、商品のパッケージをスキャンしてラベルや説明文を音声で読み上げさせるといった応用が期待されています。

入手方法と開放度

両モデルは、Alibabaが同月上旬に公開したオープンソース大規模言語モデル「Qwen-7B」および「Qwen-7B-Chat」をベースに開発されています。

モデルは完全にオープンソース化されており、Hugging FaceおよびAlibaba CloudのAIプラットフォーム「ModelScope」からコードと重みを入手できます。

ゼロから莫大なコストをかけてマルチモーダルモデルを訓練することなく、特定の目的に合わせてファインチューニングし、独自のアプリを構築することが可能です。

なぜ重要か

これまでオープンソースの大規模モデルはテキスト中心のものが多く、高精度な視覚理解を扱えるモデルの選択肢は限られていました。

AlibabaがQwen-VLをHugging Faceなどで無償開放したことで、開発者はAPI経由の商用サービスに依存せず、独自の画像認識ツールやアクセシビリティ支援機能をローカルで構築できるようになります。

自前のデータを使った業務自動化や画像解析を検討している開発者にとって、すぐに検証を始められる実用的な土台が登場したと言えます。