엔비디아 텐서RT, 스테이블 디퓨전 3.5 VRAM 40% 줄이고 속도 2배 향상

로컬 PC에서 최고 수준의 이미지 생성 모델을 직접 돌리려 할 때 가장 먼저 부딪히는 벽은 그래픽카드 메모리(VRAM)입니다.

Stable Diffusion 3.5 Large 모델은 기본 구동 시 18GB 이상의 VRAM을 요구해, 대다수 일반 사용자의 하드웨어에서는 원활한 실행이 불가능했습니다. 이에 NVIDIA는 Stability AI와 협력해 TensorRT를 활용한 최적화 작업을 진행했습니다.

SD3.5 Large를 FP8 정밀도로 양자화해 VRAM 사용량을 기존보다 40% 줄인 11GB로 낮췄습니다. 덕분에 단 하나의 플래그십 카드에서만 구동되던 것과 달리, 이제 GeForce RTX 50 시리즈 중 총 5개 모델의 로컬 메모리 안에서 직접 실행할 수 있게 되었습니다.

속도는 2배 이상 향상, SDK 용량은 8분의 1로 압축

메모리 다이어트와 함께 생성 속도도 대폭 개선되었습니다.

FP8 TensorRT를 적용한 SD3.5 Large는 기존 BF16 PyTorch 환경 대비 2.3배 빠른 성능을 냅니다. 함께 최적화된 SD3.5 Medium 모델 역시 BF16 TensorRT 기준 1.7배 빨라졌습니다.

해당 최적화 모델들은 현재 Stability AI의 Hugging Face 페이지에 공개되어 있습니다. 양사는 오는 7월 개발자들이 쉽게 배포할 수 있는 NVIDIA NIM 마이크로서비스 형태로도 SD3.5를 제공할 계획입니다.

이와 함께 PC 환경에 맞춘 'TensorRT for RTX' 독립 SDK도 정식 공개되었습니다. 기존에는 GPU 모델마다 엔진 파일을 미리 생성해야 해 배포가 까다로웠지만, 이제는 JIT(Just-In-Time) 방식을 도입해 설치나 첫 실행 시 단 몇 초 만에 기기 맞춤형 엔진을 빌드합니다. SDK 용량 또한 기존의 8분의 1 수준으로 줄어들었으며, 마이크로소프트의 새로운 Windows ML 프리뷰에도 통합되었습니다.

왜 중요한가

18GB를 넘던 모델을 11GB 수준으로 낮췄다는 점은 개인 창작자들에게 실질적인 변화를 줍니다. 값비싼 24GB 전용 그래픽카드를 사지 않고도 12GB나 16GB VRAM을 갖춘 대중적인 라인업에서 2배 이상 빠른 속도로 최신 SD3.5 모델을 직접 다룰 수 있게 되었기 때문입니다.

우리는 이번 발표에서 TensorRT의 소프트웨어 개선이 더 큰 의미를 갖는다고 봅니다. TensorRT는 성능이 뛰어났지만 빌드와 배포가 번거로워 일반 데스크톱 앱에 탑재하기 꺼려졌던 것이 사실입니다. 용량을 대폭 줄이고 온디바이스 JIT 최적화를 구현한 데다 Windows ML의 기본 추론 엔진으로 안착하면서, NVIDIA는 하드웨어 스펙 경쟁을 넘어 윈도우 AI 생태계의 바닥을 확실히 굳히고 있습니다.