本文へスキップ
IFAI

オープンソース

テンセント、対話型世界モデル「Hy-Nomas」公開 単一の4090で動作

公開 拡散指数 48

テンセントは自然言語やカメラ操作でリアルタイムに探索できる動画世界モデル「Hy-Nomas」をオープンソース公開した。720p/24fpsの映像を生成しながら過去の記憶を保持してシーンの一貫性を保ち、9GBの蒸留版なら単一のRTX 4090で動作する。全コードと重みがApache 2.0で提供される。

テンセント、対話型世界モデル「Hy-Nomas」公開 単一の4090で動作
画像:github.com

Hy-Nomasは、テキストによるプロンプト指示やカメラの移動軌跡を用いて、仮想環境をリアルタイムに生成・操作できるテンセント混元のオープンソース対話型世界モデルです。

固定された短い動画を一度に出力する従来の動画生成AIと異なり、対話形式で天候や風景を変えたり、新しい物体やアクションを追加したりしながら空間を自由に探索できます。

何ができるのか

Hy-Nomasの仕組みは、映像全体を一気に作るのではなく、短いセグメントを連続して自己回帰的に生成していく点にあります。

生成中は永続的なKVキャッシュによって過去の出来事や空間情報を記憶し続けるため、1分以上連続してカメラを動かし続けてもシーンの破綻が起きにくく、高い一貫性を維持できます。

映像の出力スペックは720p解像度、毎秒24フレームです。一人称視点と三人称視点の両方に対応し、テキストからの生成だけでなく、画像を1枚アップロードして初期状態の世界を構築してからテキストやキーボードで探索を続けることも可能です。

その描画品質と長時間の整合性を活かし、インタラクティブな短編ドラマの制作から、ロボットの自律訓練用シミュレータ環境の構築まで幅広い活用が見込まれています。

動かすための環境とスペック

世界モデルでありながら、個人の環境でも動かせる軽量化が施されているのが大きな特徴です。

テンセントは2つの主要モデルを公開しました。標準のベースモデルは約34GBありますが、蒸留されたINT8バージョンは約9GBまで小型化されています。

この蒸留版は4〜8ステップのノイズ除去で動作し、省メモリ推論により単一のRTX 4090(24GB VRAM)でローカル実行が可能です。

エコシステムの対応も早く、GitHubリポジトリでは推論コード、LoRAファインチューニング用スクリプト、アノテーションツールがすべてApache 2.0ライセンスで公開されています。すでにComfyUI、SGLang、WanGPなどでWASDキーによるカメラ操作がサポートされています。

試してみたい場合は、公式GitHubのインタラクティブなWebデモを利用するか、リポジトリの手順に従ってローカルにモデルを落として実行できます。

なぜ重要か

GoogleのGenieに代表される対話型世界モデルはこれまでクラウド限定の閉じた技術が中心でしたが、Hy-Nomasはそれを個人開発者が手元で触れるオープンソースソフトウェアに変えました。

単一のコンシューマ向けGPUで動き、自分好みの動画でLoRA追加学習までできる自由度の高さは、ゲームのプロトタイプ制作やロボティクス研究者にとって今すぐ試す価値がある強力なツールになります。

情報源 (2)

  1. [1]
  2. [2]
    youtube.com(新しいタブで開きます)報道youtube.com

毎日のAIピックアップ