Metaが「GenIA」を発表：画像や動画から整合性の高い3Dモデルを再構築

GenIAは、1枚の写真や複数視点の画像、あるいは短い動画から完全な3Dオブジェクトを再構築できるMetaのオープンソースフレームワークです。

既存の生成3Dモデルは見えない背面を補完できる反面、元の入力画像とテクスチャや位置関係、サイズがずれてしまう課題がありました。GenIAはこの忠実性の低さを解決します。

どのような仕組みか

GenIA最大の特徴は、ベースとなる基底モデルを再学習させず、推論時に入力データへ位置と外観を合わせ込む「テスト時アライメント」を採用している点です。

基礎モデルにはSAM 3Dを活用しています。ノイズ除去プロセスにおいて可視性バイアス付きアテンションや複数観測の融合、微分可能レンダリング誘導を適用し、生成される質感を元画像と一致させます。

位置や姿勢については、観測された幾何情報から直接平行移動量とスケールを算出しつつ、モデルが保持する回転の事前知識を組み合わせることで、精度の高い配置を実現しました。

さらに生成後のオプションとして追加の最適化ステップを用意。生成された3Dメッシュと元画像を継続的に比較し、軽量なアダプターと潜在変数を調整して位置や輪郭の細かなズレを修正します。

動的なオブジェクトの時系列形状が与えられた場合でも、世界座標系における安定した配置と一貫した基準外観を復元することが可能です。

精度と公開状況

合成データセットおよび実環境ベンチマークにおいて、GenIAは従来の最適化ベースの手法やフレームごとの画像から3D化するパイプライン、動画から4D化するアプローチを上回る再構築精度を記録しています。

ソースコードはすでに公開されており、プロジェクトページにはローカル環境でのセットアップ手順と実行方法が記載されています。

注意点として、ライセンスはクリエイティブ・コモンズの非商用ライセンス（CC Non-Commercial）となっています。現時点では個人検証や研究目的に限られます。

なぜ重要か

巨大な基底モデルを一から再学習するのではなく、推論時の制御と軽量アダプターで幾何・外観のズレを抑え込むアプローチは非常に合理的です。計算資源が限られた現場でも取り入れやすい手法といえます。

3Dモデリングや空間コンピューティング、ロボティクスに関わる開発者なら、手元の画像から手軽にアセットを起こす検証ツールとして触ってみる価値が十分にあります。商用利用はできませんが、プロトタイピングの効率化には大いに役立つはずです。