Hugging FaceがSmolVLM2を公開：最小256Mで端末上での動画理解を実現

SmolVLM2は、Hugging Faceが公開した軽量マルチモーダルモデルファミリーです。大がかりな計算リソースを必要とせず、端末ローカルで動画や画像の理解タスクを実行できます。

ラインナップは2.2B、500M、256Mの3サイズ構成です。クラウド依存から脱却し、一般的なMacやiPhone、さらには無料版のGoogle Colab上でも動作します。

何ができるのか

主力となる2.2Bモデルは、画像内のテキスト読み取りや科学図表の理解性能が向上しています。900本の動画と254時間に及ぶベンチマークVideo-MMEにおいて、既存の2Bクラスのモデルを上回るスコアを記録しました。

注目すべきは500Mモデルです。マルチモーダル研究プロジェクトApolloのデータ混合知見を取り入れたことで、パラメータ数を4分の1未満に抑えながら2.2Bに迫る動画認識精度を実現しました。

256Mモデルは極小サイズへの挑戦となる実験的リリースで、動画を扱えるオープンモデルとしては最小クラスとなります。

複数画像を入力した比較対話に対応するほか、1時間を超える長尺動画から決定的な場面を抽出するハイライト生成機能も備えています。

ローカルで動かす方法

SmolVLM2は公開初日からTransformersとAppleのMLXフレームワークに対応しています。

Python環境ではTransformersライブラリを通じて、動画のファイルパスや画像URLを会話テンプレートに渡すだけで推論が可能です。

Apple Silicon環境ではmlx-vlmライブラリやSwift連携が用意されており、Macのコマンドラインから非量子化の500Mモデルを即座に実行できます。

実証アプリとして、通信を行わずに端末単体で動画を解析するiPhone向けアプリや、自然言語で動画内を検索できるVLCメディアプレイヤーとの連携機能が試作されています。

すべてのモデル重みとデモはHugging Face上で利用可能で、500Mモデルをフルファインチューニングするノートブックも用意されています。

なぜ重要か

これまで大量のメモリを消費していた動画理解AIを、端末側で常駐可能なサイズまで削ぎ落とした点に大きな価値があります。500M規模であれば、プライバシーを保護したままローカル端末で写真管理や動画整理を行う仕組みが現実的になります。

エッジ環境やiOS向けのアプリ開発者なら、すぐに試す価値があります。ただし、パラメータ数が極めて少ないため、複雑な文脈推論には限界があり、汎用チャットというよりは動画フィルタリング用の軽量センサーとして扱うのが賢明です。