NVIDIA、画像生成「FLUX.1 Kontext」をTensorRTで高速化

画像生成AIで同じキャラクターの別ポーズを作ったり、服装だけを差し替えたりしようとすると、これまではComfyUIで複雑なノードを組み、複数のControlNetやマスク、深度マップを総動員する必要がありました。

こうした手間を省くため、Black Forest LabsとNVIDIAが手を組みました。両社は画像生成・編集モデル「FLUX.1 Kontext [dev]」のモデル重みと、NVIDIA TensorRTによる最適化版をHugging Faceで公開しました。

自然言語で指示するだけでキャラクターの一貫性を維持

Black Forest Labsが5月に発表したFLUX.1 Kontextシリーズは、テキストと画像の両方を入力として受け取るオープンウェイトモデルです。

最大の特徴は、画像生成と画像編集を単一のモデルで完結できる点です。追加のファインチューニングや複雑なControlNetの併用を必要とせず、参照画像を与えて「ここをこう変えて」と普段の言葉で指示するだけで、一部分だけを修正できます。

異なる構図やアングルでも同一人物の特徴を保つキャラクター一貫性、参照画像の質感を別シーンに引き継ぐスタイル転送などに対応しています。現在はComfyUIや公式Playgroundで利用可能で、8月にはNVIDIA NIMマイクロサービスの提供も予定されています。

24GBのVRAM消費を最大7GBまで圧縮

どんなに優れたモデルでも、動かすために超高額なワークステーションが必要では普及しません。FLUX.1 Kontext [dev]の元となるBF16モデルは24GBのVRAMを消費するため、一般的なPCで動かすのは困難でした。

そこでNVIDIAはTensorRTを用いた最適化と量子化を実施しました。PyTorchでBF16を動かす場合と比べて、推論速度は2倍以上に向上しています。

さらにモデルサイズも大幅に削減されました。GeForce RTX 40シリーズ向けに最適化されたFP8版は12GBまで縮小し、GeForce RTX 50シリーズ向けのFP4版では「SVDQuant」という手法を用いることで、画質を保ちながらわずか7GBにまで圧縮されています。

なぜ重要か

私たちは、この取り組みがオープンソースの画像生成を「ガチャ」から「実用的な制作ツール」へと押し上げる重要な転換点になると考えています。

これまでの画像生成は、プロンプトを少し変えただけで全体の構図が崩れてしまう点がプロの現場での最大の課題でした。FLUX.1 Kontextのように、ひとつのモデルが画像とテキストの文脈を直接理解して編集を行える仕組みは、従来のレタッチ作業に極めて近い直感的な体験を提供します。

クリエイター視点では、12GBや7GBという容量に収まったことで、クラウドの有料サービスに頼らず一般的なグラフィックボードを積んだ自作PC上で作業が完結する点が大きなメリットです。RTX 40系や50系を所有しているなら、いますぐComfyUIで試す価値があります。

業界全体にとっても、Midjourneyのようなクラウド完結型の商用サービスに対抗する強力な選択肢となります。ローカル環境で破綻なくキャラクター固定や部分修正がリアルタイムにこなせるようになれば、閉じた商用プラットフォーム側の優位性は徐々に薄れていくとみられます。