SkyworkがMatrix Game 4.0を公開：単一GPUで83fpsのリアルタイム3Dゲーム生成

Skywork の Matrix Game 4.0 は、インタラクティブな 3D ゲームをリアルタイムで生成・描画できるオープンソースの AI 世界モデルだ。従来のゲームエンジンとニューラルレンダリングを組み合わせることで、単一の消費者向け GPU 上で最大 83fps という実用的な描画速度を実現している。

従来の AI ゲームモデルは、画面内のすべての挙動をニューラルネットワーク単体で再現しようとしたため、時間経過とともにグラフィックスが歪んだり、空間の整合性が破綻したりする問題が避けられなかった。Matrix Game 4.0 はアプローチを変え、物理演算、キャラクターの移動、入力判定などの基本ルールを既存の実行可能ゲームエンジンに任せている。AI はエンジンから出力された粗いローポリゴン画面を受け取り、ディテール豊かな映像へとリアルタイムに再レンダリングする仕組みだ。HUD やサウンドは別レイヤーとして扱われるため、表示が崩れることもない。

何ができるのか

Matrix Game 4.0 は、「中世の城」「古代エジプト」「市街地レース」という 3 つの特化シーン向けチェックポイントを公開している。各シーンのモデルサイズは約 50 億パラメータ（5,001,016,512 個の BF16 パラメータ）で構成される。

出力解像度は 480x864 だ。動作モードには 2 つのプリセットが用意されており、リアルタイムプリセットでは TAEHV コーデックと 1 ステップのノイズ除去を組み合わせ、最適化された DiT と CUDA グラフによって単一 GPU で最大 83fps を叩き出す。一方、画質を優先したい場合は、Wan VAE と 2 ステップのノイズ除去を用いたクオリティプリセットを選択できる。

さらに、自然言語でゲームの挙動を修正できるコーディングエージェントも統合されている。プレイヤーが「新しいルールや機能」をテキストで指示すると、エージェントがゲームコードを直接書き換えてくれる。

導入方法と注意点

コードとモデルの重み、およびゲームアセットは Hugging Face 上で公開されており、Apache-2.0 ライセンス（TAEHV 関連は MIT）で利用可能だ。ただし、今回公開されたのは推論用ソースコードとシーン重みであり、学習用のコードやデータセットは含まれていない。

また、モデルは同梱されたシーンやカメラ挙動に高度に特化している。未知のポリゴン形状や激しいカメラの回転、長時間のプレイでは、依然としてテクスチャのドリフトや形状破綻が起きるリスクがある。さらに、AI が描画したリッチな画面は物理的な当たり判定には影響を与えず、すべての一般的なグラフィックボードでメモリに収まる保証はない。

試したい開発者は、Hugging Face の Skywork/Matrix-Game-4.0 リポジトリから配布されているマニフェストスクリプトを使い、必要な重みとアセットをダウンロードしてセットアップできる。

なぜ重要か

Matrix Game 4.0 の賢さは、AI に物理やルールのシミュレーションまで無理に背負わせず、「リアルタイムなニューラルシェーダー」に徹した点にある。すべてを拡散モデルで一から生成しようとする従来手法の壁を、従来型エンジンとのハイブリッド構成によって軽々と回避し、一般向け GPU で 83fps という驚異的な実効速度を引き出した。

インディー開発者やグラフィックス研究者にとって、このプロジェクトは今すぐ手元で動かしてみる価値が十分にある。商用ゲーム全体を置き換える段階にはまだないものの、低負荷アセットの高精細化や AI 駆動型プロトタイピングの未来を体験できる、オープンかつ極めて完成度の高い実装例だ。