Nvidiaが「NVLM 1.0」をオープンソース公開：72BモデルでGPT-4oに匹敵

Nvidiaはマルチモーダル大規模言語モデルファミリー「NVLM 1.0」をオープンソースとして公開しました。主力となるのは720億パラメータの「NVLM-D-72B」で、画像とテキストを同時に処理でき、GPT-4oなどの主要な商用モデルに匹敵する性能を備えています。重みはすでに公開されており、学習コードも順次公開される予定です。

画像理解と高度な推論を両立

これまで最高峰の視覚理解能力を得るには、商用のAPIに依存せざるを得ないケースがほとんどでした。NVLM-D-72Bはその壁を打破することを目指しています。

アーキテクチャ面では、異なるマルチモーダル処理技術を組み合わせたハイブリッド設計を採用しています。研究チームが公開した実例では、学術的なミームの意図を正確に読み解くユーモアの理解から、図表を含む数学問題の段階的な解説まで、高い柔軟性を示しています。ベンチマークテストにおいても、GPT-4oやClaude 3.5、Llama 3-Vと肩を並べる水準を記録しました。

マルチモーダル学習でテキスト性能が4.3ポイント向上

マルチモーダルモデルでは、視覚機能を追加することで元のテキスト理解力やコーディング力が低下する現象が課題となってきました。しかし、NVLM-D-72Bはその逆の結果を出しています。

マルチモーダル学習を経た後、主要なテキストベンチマークの精度は平均で4.3ポイント向上しました。特にテキスト単体の数学やコーディング評価での伸びが著しく、専門家からは「72Bサイズでありながら、推論性能においてLlama 3.1 405Bに迫る水準に達している」と驚きの声が上がっています。

論文はすでにarXivで公開されており、モデルの重みも入手可能です。

なぜ重要か

機密データを外部APIに送信できない企業や、自社インフラで高品質なマルチモーダルモデルを動かしたい開発者にとって、NVLM-D-72Bは即座に検証する価値がある選択肢です。72Bというサイズは、マルチGPU環境があれば現実的に運用可能な範囲に収まります。

また、マルチモーダル化によってテキストやコードの論理的思考力がむしろ底上げされる手法を実証した点は、今後のオープンソース開発の指針になるはずです。Nvidiaがフラッグシップ級の成果物をオープンにしたことで、商用APIを提供する競合各社にも少なからぬプレッシャーがかかることになります。