MAMMA：カメラ 4 台だけで高精度な 3D モーションキャプチャを実現

従来のモーションキャプチャといえば、全身タイツに無数の反射マーカーを貼り付け、スタジオに何十台もの赤外線カメラを並べる大掛かりな撮影が常識でした。しかも、演者同士が抱き合ったり格闘したりすると、マーカーが隠れてトラッキングが破綻してしまうのが長年の課題でした。

マックス・プランク知能システム研究所（MPI-IS）とカーネギーメロン大学（CMU）の研究チームが、その常識を覆しました。CVPR 2026 の Oral に採択された新システム「MAMMA」は、わずか 4 台の通常カメラだけで高精度な多人数の 3D 動捕を実現します。

マーカー不要、iPhone 4 台でマトリックスの世界へ

MAMMA は「Markerless Accurate Multi-person Motion Acquisition」の略称です。その名の通り、マーカーや専用スーツを一切使わずに、標準的なマルチビュー映像から精緻な 3D 人体モデルを再構築します。

撮影に必要なのは 4 台のカメラだけ。スタジオの特殊機材はもちろん不要で、屋外で iPhone 4 台を使って撮影した日常映像でも動作します。

最も驚かされるのは、複数人の接触トラッキング能力です。ダンス（バチャータなど）や抱擁、地面での押し引きといった激しい身体の重なり合いがあっても、破綻せずに動きを捉え続けます。

三次元空間の形状が正確に復元されるため、映画『マトリックス』のような被写体の周りをカメラが回り込む「バレットタイム効果」も簡単にレンダリングできます。

最先端モデルを結集したパイプラインと Web UI

MAMMA の強みは、ここ数年で進化したオープンソースの視覚 AI を巧みに組み上げている点です。

処理パイプラインは、動画取り込み、マスク生成、2D 特徴点抽出、3D 最適化、可視化というステップで進みます。

内部では、セグメンテーションに Meta の SAM 2 や SAM 3 を、人物検出に YOLOv12 を、姿勢推定に ViTPose や HRNet を採用。それらを MPI-IS の高精細な身体モデル「SMPL-X」にフィッティングさせ、Rerun でインタラクティブに可視化します。

研究リポジトリでありながら、使い勝手も配慮されています。コマンドラインだけでなく Flask と React で作られたブラウザ UI が付属しており、ローカルの 3000 番ポートを開けば、同梱された 56MB の 4 視点デモ映像を画面上からワンクリックで試せます。

なぜ重要か

私たちは、MAMMA が基礎モデルの組み合わせによる実用化の理想的な到達点だと考えます。高価な専用ハードウェアに頼らなくても、適切なアルゴリズムと複数のオープンモデルを繋ぎ合わせれば、同等以上の結果を出せることを証明しました。

インディーゲーム開発者や個人クリエイターにとって、多人数の 3D アニメーション制作にかかるコストのハードルは一気に下がります。スタジオを借りずとも、スマートフォン数台をスタンドに立てて撮影するだけで、複雑なアクションデータを手に入れられる時代が見えてきました。

ただし現時点では、ライセンスが非商用研究目的に限定されている点には注意が必要です。商業プロジェクトへそのまま組み込むことはできず、複数カメラのキャリブレーションや 3D 最適化計算にはそれなりのマシンパワーも求められます。

それでも、マーカー付きスーツを着てスタジオにこもる時代が終わりに近づいていることは間違いありません。