Viggleが世界モデル「JST-2」公開、テキストや画像から探索可能な3D空間とキャラを即座に生成

多くの人にとって Viggle といえば、有名人を面白おかしく踊らせるバイラルなミーム生成アプリの印象が強いかもしれない。だが、累計 5000 万人以上のユーザーを集めたそのチームが、過去 4 年間水面下で磨き上げてきた本命の技術をついに公開した。

Viggle は独自の物理ネイティブ世界基底モデル「JST-2」を発表した。単に 2D の動画ピクセルを予測するのではなく、テキストプロンプトや数枚の画像から、自由に歩き回れる 3D 空間をわずか約 1 秒で生成する。推論コストも 1 回あたり 0.01 ドル未満に抑えられている。

さらに画期的なのは、生成された 3D キャラクターが最初から動きのデータを持っており、従来の 3D 制作で最も手間のかかるボーン入れやスキニング作業を丸ごと省略できる点だ。

ピクセルではなく物質の原子として空間を捉える

既存の多くの世界モデルは、ピクセル空間での見た目を学習しているに過ぎない。そのため、カメラを一度背けてから元の場所に戻すと、背景の配置が変わったりオブジェクトが消えたりする破綻が頻繁に起きていた。

JST は「Joint Space-and-Time（空間と時間の結合）」の略称だ。Viggle は世界をピクセルの集まりではなく、3D 空間内に持続する微小な物質の単位、すなわち物理ネイティブトークンとしてモデリングしている。

各トークンは明確な xyz 座標と、物性や運動のダイナミクスを記録したベクトルを持っている。つまり、背後で本物の 3D 物体座標を常に追跡し続けているわけだ。

そのため、視点をどれだけ移動してもシーンの一貫性は損なわれない。生成された空間は 3D ガウシアン・スプラッティングとしてデコードされ、一般的なブラウザ上でそのままリアルタイムに描画・探索できる。

最大 64 視点の空間コンテキストウィンドウに対応しており、1 歩進むごとに周囲の空間を破綻なく広げていくことも可能だ。

ボーン設定不要で動くキャラクターと高い再現性

3D 制作において、モデルを作ること以上に大変なのがキャラクターに骨組みを仕込み、動いたときのメッシュの歪みを調整するリギング作業だ。

JST-2 は、生成の段階で各部位の運動ダイナミクスをトークン内にあらかじめ学習させている。体や衣服が動いたときにどう変形すべきかをモデル自体が知っているため、一部が見切れた画像からでも即座にアニメーション可能なキャラクターを作り出せる。

Meshy 7.1 や Tripo H3.1 とのブラインドテスト比較では、キャラクター生成の品質で JST-2 が全体的に高い評価を獲得した。特に顔のディテール保持、指先の関節表現、動いた際の衣服の自然な変形において明確な差を見せている。

生成されたフルボディモーションは一般的な 3D リグとも互換性があり、ゲーム制作だけでなくロボットのナビゲーションや把持訓練のシミュレーション環境にも応用できる。

現在モデルのウェイトはオープンソース化されていないが、ブラウザ上の公式プラットフォームから誰でも無料で体験できる状態になっている。

なぜ重要か

JST-2 の最大の意義は、2D 拡散モデルによるピクセル生成を力づくで推し進めるよりも、空間座標と物理法則を直接モデルに組み込むアプローチの方が圧倒的に効率的であると証明した点にある。

1 秒、1 セント未満のフィードフォワード処理で、破綻しない 3D 空間と動くキャラクターを同時に手に入れられる体験は、ゲームのプロトタイプ制作やインディー開発者の制作フローを根本から変える可能性がある。骨組みを仕込む専門スキルがなくても、思いついたキャラをすぐに動かせる恩恵は計り知れない。

もちろん課題もある。複雑になびく髪の毛の表現や、幾重にも重なるルーズな衣服の衝突判定などはまだ発展途上であり、非オープンソースであるためプロの制作スタジオがローカルの自動化ラインに組み込むには制約が残る。

それでも、ミーム生成ツールの裏で着実に物理ネイティブな基盤を育て上げていた Viggle の開発手腕は見事だ。今後の世界モデル競争において、重要なベンチマークになることは間違いない。