엔비디아, 이미지 편집 모델 'FLUX.1 Kontext' NIM 마이크로서비스 공개
엔비디아가 FLUX.1 Kontext [dev] NIM 마이크로서비스를 출시했다. 양자화를 통해 모델 크기를 최대 7GB까지 줄이고 TensorRT로 속도를 2배 이상 개선했으며, ComfyUI에서 바로 연동할 수 있다.
TensorRT
엔비디아, 이미지 편집 모델 'FLUX.1 Kontext' 텐서RT 가속 지원
엔비디아가 Black Forest Labs의 이미지 생성·편집 모델 'FLUX.1 Kontext [dev]'를 위한 텐서RT 최적화를 발표했다. FP8 기준 12GB, FP4 기준 7GB로 양자화되어 기존 대비 2배 이상 빠른 추론을 지원하며, 로컬 RTX PC에서 복잡한 워크플로 없이 자연어로 이미지를 편집할 수 있다.
엔비디아 텐서RT, 스테이블 디퓨전 3.5 VRAM 40% 줄이고 속도 2배 향상
엔비디아가 스태빌리티 AI와 협력해 스테이블 디퓨전 3.5에 텐서RT 가속 및 FP8 양자화를 적용했다. SD3.5 라지 모델의 VRAM 요구량을 18GB 이상에서 11GB로 40% 줄였고 속도는 최대 2.3배 향상돼 일반 소비자용 RTX GPU에서도 원활히 구동된다.
Stability AI, 엔비디아 TensorRT로 SDXL 가속…H100서 이미지 생성 1.47초
Stability AI가 엔비디아와 협력해 TensorRT로 최적화된 SDXL의 ONNX 가중치를 공개했다. 엔비디아 H100 GPU에서 고해상도 이미지를 1.47초 만에 생성하며 지연 시간을 41% 줄이고 처리량을 70% 끌어올렸다. 고성능 이미지 생성의 속도와 인프라 비용 효율이 크게 개선됐다.