Tencent、万能ビジュアルAI「WeVisOne-VL」をオープンソース公開

WeVisOne-VLは、TencentのWeChat Visionチームがオープンソース化したオールインワンの視覚言語モデルです。物体検出、ポインティング、計数、OCRテキスト認識、そして髪の毛レベルのマット切り抜きまでを単一の軽量モデルでこなします。

これまでこの手の処理を組む場合、物体検出器でバウンディングボックスを取り、SAMなどのセグメンテーションモデルを呼び出し、さらに専用ツールで透過マスクを作るという複雑なパイプラインが必要でした。WeVisOne-VLはそれを1つのモデルに集約しています。

何ができるのか

画像を読み込ませて自然言語で指示を出すだけで動作します。「ソファとテーブルを検出して」と頼めば座標ボックスを返し、散らばった物の数を数えさせれば位置を指定しながらカウントします。画像内の看板文字の読み取りや特定フレーズの位置特定もこなせます。

特に際立っているのがピクセル単位の処理能力です。SAMのような大規模な外部分割モデルを一切介さず、髪の毛のような微細なエッジを含むアルファ透過チャンネルを直接出力できます。さらに「存在しない対象」を指示された場合には、無理に誤検出を出さず明確にNoneを返す拒絶機能を備えています。

ベンチマークでも4Bモデルは優秀な数値を記録しています。高密度検出ベンチマークのDense200ではF1 Mean 71.3を記録し、3Bから9Bクラスの既存オープンモデルを大きく上回りました。WeRef-Benchの拒絶率テストでは96.4%を達成し、P3M-500-NPやWeRefMatでのマット切り抜き誤差を表すMAD値もそれぞれ7.3と9.8まで抑制されています。

仕組みと動かし方

モデル構造はQwen3-VLをベースにしており、すべてのタスクを構造化テキストのトークンとして扱います。工夫されているのがピクセルデコーダーの設計で、パラメータ数はわずか9.6Mに抑えられています。特定トークンの隠れ状態と予測ボックス、ViTの特徴量を組み合わせてフル解像度のマスクやアルファマットを省リソースで復元します。

ライセンスは商用利用も可能なApache 2.0を採用しています。Hugging Face上には2Bと4Bの重みが公開されており、推論パッケージ、チュートリアル、評価スクリプト、データ生成に使われたアノテーションツールMask2Alphaも提供されています。

4Bモデルのファイルサイズは約19GB、2Bモデルはその半分ほどで、一般的なローカルPCや単一のGPU環境で十分動作します。GitHubリポジトリからセットアップすればGradioベースのWeb UIがすぐに立ち上がり、バックエンドはTransformersとvLLMの両方に対応しています。

なぜ重要か

画像編集ツールやローカルでのデータ自動ラベリングを構築している開発者にとって、WeVisOne-VLはすぐに試す価値がある実用的な選択肢です。検出、分割、マット生成を別々の大型モデルに頼るのではなく、10M未満の極小デコーダーで完結させたアプローチは、消費VRAMとレイテンシの削減において非常にスマートです。

対象が存在しないときにしっかり拒絶できる点も、業務パイプラインでの誤動作を防ぐ上で心強い特徴と言えます。ただしベースが2Bおよび4Bの軽量モデルであるため、複雑で長文の指示理解には限界があり、万能な推論エンジンというよりは高精度な視覚知覚ユニットとして組み込むのが最適です。