ByteDanceとスタンフォード、画像・動画拡散モデルを4倍超高速化する「Spectrum」公開

Spectrumは、ByteDanceとスタンフォード大学の研究チームがオープンソース化した、画像および動画拡散モデル向けの高速化フレームワークだ。モデルを追加学習させることなく推論パイプラインに組み込むだけで、FLUX.1やHunyuan Videoなどの生成速度を品質劣化をほとんど起こさずに3.5倍から4.7倍に引き上げることができる。

画質を落とさずに高速化できる仕組み

通常の拡散モデルは、ノイズを少しずつ除去しながら何十ステップもニューラルネットワークの計算を繰り返すため、ステップ数に比例して推論時間とGPU負荷がかかる。

Spectrumはステップごとの特徴量の変化を時間軸上の連続軌跡として捉え、チェビシェフ多項式を用いてその曲線を近似する。リッジ回帰によって係数を求め、数ステップ先の特徴量を数学的に高精度で予測して再利用する仕組みだ。

従来の補間法やテイラー展開ベースの手法とは異なり、予測誤差がステップ幅の拡大に伴って急激に累積しない理論的保証があるため、ステップ数を大幅に間引きながらも破綻のない出力を保てる。

測定結果と対応モデル

検証結果によると、画像モデルのFLUX.1では最大4.79倍の高速化を達成しており、生成された画像はベースラインと目視で見分けがつかない水準を維持している。動画モデルのWan2.1-14Bでも4.67倍の速度向上を確認した。

Hunyuan Videoの場合、従来は50ステップ必要だった処理を実質14ステップの計算に削減し、約3.5倍の高速化を実現した。類似の高速化手法で生じやすかった映像の歪みや色褪せがほとんど見られない点も強みだ。

対応モデルはFLUX.1、SDXL、Stable Diffusion 3.5-Large、Hunyuan Videoなど多岐にわたる。さらに推論エンジンSGLangに正式統合されたほか、有志によるComfyUI拡張機能も公開されており、GUI環境でも手軽に試せる。

動かし方と試し方

コードはGitHubリポジトリ（hanjq17/Spectrum）で公開されている。動作環境にはPython 3.10、PyTorch、diffusers、transformers、hydra-coreなどの一般的なライブラリが必要となる。

Hugging Faceから必要なモデルの重みを取得した後、提供されているtext_to_image.pyやtext_to_video.pyを実行するだけで推論できる。設定ファイル経由で予測ウィンドウのサイズを調整し、速度と画質のバランスを好みに合わせてチューニング可能だ。日常的に画像や動画を生成しているなら、ComfyUIノードを利用するのが最も導入しやすい。

なぜ重要か

ローカルGPUで動画生成や画像生成を日常的に回しているクリエイターや個人開発者にとって、試す価値が非常に高いツールだ。モデル蒸留のように膨大な計算資源を使って再学習する必要がなく、既存のパイプラインに差し込むだけで劇的な速度向上が得られる。

特徴量空間の軌跡予測というアプローチが実用レベルで機能することを示した点も興味深い。超高精度が求められる本番案件では事前検証が必要だが、待ち時間を大幅に削りたい制作環境では有力な選択肢になるはずだ。