画像1枚からBlenderの3Dシーンを構築するAIエージェント「VIGA」が登場

VIGAは、Blenderを思考の道具として使いこなしながら3Dモデリングを行うマルチモーダルAIエージェントです。1枚の2D画像を入力するだけで、Blender内で自由に編集でき、物理特性やインタラクションまで備えた3Dシーンプログラムを再構築します。

何ができるのか

従来の3D生成ツールの多くは、後から編集しづらいメッシュや点群を出力するだけでした。これに対し、VIGAはコードベースのプロシージャルなシーンを構築します。

Blenderの立方体や球体といった基本的な図形を組み合わせてゼロから空間を作り上げることができます。さらに細密なモデルが必要な場合は、MeshyやSAM-3Dといった既存の3Dアセット生成ツールを呼び出し、生成されたオブジェクトを配置して物理シーンを組み立てることも可能です。

また、3Dモデリングにとどまらず、2Dスライドのデザインなど他のプログラム駆動型コンテンツ生成タスクにも応用できることが確認されています。

どのような仕組みか

VIGAの中核にあるのは「分析と合成のループ」（analysis-by-synthesis loop）です。一発で完成形を当てるのではなく、コードを書いてレンダリングし、元の画像と比較しては手直しする作業を繰り返します。

これを支えているのが、交互に行われるマルチモーダル推論と、動的に蓄積されるコンテキストメモリです。試行錯誤の履歴を記憶しておくことで、カメラ位置の調整、マテリアルの変更、オブジェクトの配置などを段階的に修正していきます。

研究チームは視点調整や複数段階の編集など30種類の難関タスクを含むベンチマーク「BlenderBench」を構築しました。GPT-4oやQwen3-VL-8Bをベースにした検証において、VIGAは従来のワンショット生成に比べて平均124.70％の性能向上を達成しています。メモリ機能を持たないBlenderAlchemyと比較しても明確に高いスコアを出し、既存のBlenderGymベンチマークでも35.32％の改善を示しました。

公開状況と使い方

現在、論文はarXiv（番号 2601.11109）で公開されており、プロジェクトサイトで多数のデモやベンチマーク結果が確認できます。

基盤モデルとして商用のGPT-4oだけでなくオープンモデルのQwen3-VL-8Bとの連携も検証されています。現時点では論文と技術解説、デモの公開が中心となっているため、自身の環境で手軽に動かしたい開発者は今後のリポジトリ公開を待つ必要があります。

なぜ重要か

3Dクリエイターやゲーム開発者にとって、生成AI最大の壁は「後から編集できないこと」でした。メッシュの塊を渡されても実制作では扱いにくいためです。VIGAは、AIにBlenderのPythonコードを書かせ、レンダリング結果を見ながら微調整させるという現実的な解決策を提示しました。

グラフィックスエンジンそのものをAIの推論環境として使うアプローチは、画像認識モデル特有の空間認識不足を補う賢い設計だと考えられます。Blenderを使ったワークフローの自動化に興味があるなら、押さえておくべきプロジェクトです。