엔비디아, 이미지 편집 모델 'FLUX.1 Kontext' 텐서RT 가속 지원

오픈소스 이미지 생성 모델로 캐릭터의 일관성을 유지하거나 특정 부위만 고치려면 그동안 상당한 고통이 따랐습니다. ComfyUI에서 복잡한 노드를 얽어매고 여러 개의 컨트롤넷과 인페인팅 마스크, 심도 맵을 덕지덕지 붙여야 겨우 원하는 결과물이 나왔기 때문입니다.

이런 번거로운 작업 흐름을 간소화하기 위해 블랙 포레스트 랩스와 엔비디아가 손을 잡았습니다. 양사는 이미지 편집 모델인 FLUX.1 Kontext [dev]의 가중치와 엔비디아 텐서RT 가속 버전을 허깅페이스에 공개했습니다.

자연어 한마디로 부분 수정과 캐릭터 고정 해결

블랙 포레스트 랩스가 지난 5월 처음 선보인 FLUX.1 Kontext는 텍스트와 이미지를 동시에 입력받는 오픈 웨이트 모델입니다.

가장 큰 장점은 추가 미세조정이나 복잡한 컨트롤넷 조합 없이, 기준 이미지 한 장과 일상적인 문장만으로 정교한 이미지 편집이 가능하다는 점입니다.

특정 부위만 자연스럽게 수정하는 국소 편집은 물론, 여러 장면과 각도에서도 인물의 고유한 외형을 유지하는 캐릭터 일관성, 참조 이미지의 화풍을 그대로 입히는 스타일 전송을 단일 모델 안에서 지원합니다. 현재 ComfyUI와 블랙 포레스트 랩스 플레이그라운드에서 바로 쓸 수 있으며, 8월에는 엔비디아 NIM 마이크로서비스 형태로도 출시될 예정입니다.

24GB였던 VRAM 요구량을 7GB까지 다이어트

모델의 성능이 아무리 좋아도 로컬 PC에서 돌릴 수 없다면 그림의 떡입니다. FLUX.1 Kontext [dev]의 기본 BF16 모델은 VRAM을 24GB나 차지해 일반 사용자용 그래픽카드로는 구동하기 버거웠습니다.

엔비디아는 텐서RT 최적화와 양자화 기술을 적용해 이 문제를 풀었습니다. 파이토치 환경의 원본 BF16 구동 대비 추론 속도를 두 배 이상 끌어올렸습니다.

메모리 점유율도 대폭 낮췄습니다. 지포스 RTX 40 시리즈에 최적화된 FP8 체크포인트는 VRAM을 12GB로 줄였고, 차세대 지포스 RTX 50 시리즈를 겨냥한 FP4 체크포인트는 SVDQuant라는 새로운 기법을 통해 이미지 품질 손실을 최소화하면서 모델 크기를 단 7GB까지 압축했습니다.

왜 중요한가

우리는 이번 발표가 이미지 생성을 단순한 '뽑기'에서 실질적인 상업용 제작 도구로 진화시키는 중요한 계기라고 봅니다.

그동안 이미지 생성 AI가 업무 파이프라인에 온전히 녹아들지 못했던 이유는 제어력 부족 때문이었습니다. 단어 하나만 바꿔도 전체 구도가 망가지거나 외부 제어 도구를 붙이느라 진입 장벽이 너무 높았습니다. FLUX.1 Kontext는 모델 자체에서 텍스트와 시각적 맥락을 동시에 해석해 수정하므로 기존 그래픽 소프트웨어처럼 직관적인 작업이 가능해집니다.

창작자와 1인 개발자 입장에서는 VRAM 요구량이 12GB와 7GB 수준으로 내려오면서 매달 나가는 클라우드 구독료를 아끼고 로컬 데스크톱에서 웹툰 콘티나 상품 상세 이미지를 빠르게 뽑아낼 수 있게 되었습니다. 최신 RTX 그래픽카드를 보유하고 있다면 지금 바로 ComfyUI에서 테스트해 볼 만한 가치가 충분합니다.

미드저니 같은 폐쇄형 클라우드 서비스와의 경쟁 구도에서도 유의미합니다. 고화질과 캐릭터 일관성, 즉각적인 로컬 편집 기능이 일반 게이밍 PC 영역으로 내려온 이상, 폐쇄형 서비스들은 더 높은 수준의 사용성과 차별점을 증명해야 하는 압박을 받게 될 것으로 보입니다.