NVIDIA、AI動画を最大4K化する「Open H3 Regenerate 2K」をオープンソース公開

Open H3 Regenerate 2Kは、低解像度のAI生成動画を高精細な2Kや最大4Kへと再描画する、NVIDIAのオープンソース動画高画質化ツールです。

オープンソースの動画生成モデルMiniMax H3は、低解像度で大まかな動きを作った後、第2段階で高精細化する構成をとっています。しかし、公式の高画質化モデルはクラウドAPIとしてしか提供されておらず、重みは非公開でした。NVIDIAの今回のツールは、その空白を埋め、ローカル環境で完結できるようにしたものです。

わずか3ステップで細部を描き直す仕組み

単に解像度を引き伸ばすだけのアップスケーラーと異なり、Open H3 Regenerate 2Kは拡散モデルの力で布の質感や動物の毛並み、背景のディテールをフル解像度で描き直します。

仕組みは極めて合理的です。H3のトランスフォーマーと動画VAE本体は凍結したまま、FL2VA TurboとLMS Sharpを統合した軽量なRefiner LoRAを1つ追加しています。

ドラフト動画の潜在表現を3D畳み込みネットワークで直接拡大し、デコードと再エンコードの手間を省きます。そこにノイズを少し加え、わずか3ステップのオイラー法でノイズを除去するだけで高精細な映像を仕上げます。

SoL-Engineのスパースアテンションと高速VAEデコーダーを組み合わせることで、B200 GPU 1基なら5秒間の2K動画をわずか22.45秒で処理可能です。

他社モデルにも対応し、最大15秒の動画を4K化

公式APIは768P入力の2K出力に限定されていましたが、このオープン版は384P、512P、768Pなど幅広い入力に対応します。MiniMax H3だけでなく、LTX-2やSANA-Videoなど他のモデルで生成した下書き動画もそのまま受け付けます。

出力サイズは768Pからフル4Kまで自由に選べ、5秒から最大15秒（360フレーム）のクリップを分割処理なしで一度に変換できます。

ベンチマークのRefinerBench-150では、画質や一貫性のスコアで公式APIを上回り、200回のブラインドテストでも87%の評価者がNVIDIA版を支持しました。

ただし注意点もあります。ディテールを新たに生成するため、人物の顔立ちなど細部のニュアンスが元の動画からわずかに変わってしまう傾向があります。

ソースコード、学習済み重み、ローカル導入手順はすべてGitHub上で公開されています。

なぜ重要か

オープンソースの動画生成ワークフローにおいて、高画質化はこれまで商用クラウドに依存せざるを得ない最後のボトルネックでした。今回のツールはその壁を取り払い、完全なローカルパイプラインを可能にします。

わずか3ステップの拡散処理と軽量LoRAを組み合わせる工夫により、推論速度とクオリティのバランスを実用レベルに引き上げた点が見事です。顔の再現性にわずかなズレが生じるリスクはあるものの、風景やエフェクト映像のクオリティを底上げしたいクリエイターは今すぐ導入を検討する価値があります。