ASASR: FLUX.1-dev 기반으로 환각 아티팩트를 줄인 4배 이미지 초해상도 도구

ASASR은 FLUX.1-dev를 기반으로 구축된 오픈소스 이미지 초해상도 도구입니다. 흐릿하고 품질이 낮은 이미지를 4배 고해상도로 복원하면서도, 생성형 업스케일러 특유의 엉뚱한 디테일 날조와 아티팩트를 효과적으로 억제합니다.

기존 디퓨전 모델 기반의 업스케일러는 이미지를 선명하게 만드는 대신 원본에 없던 질감을 멋대로 만들어내 문자가 뭉개지거나 사물 형태가 왜곡되기 일쑤였습니다. ASASR은 바로 이 문제를 해결해 OCR 판독력과 세부 분할 정확도를 보존하도록 설계되었습니다.

작동 원리

ASASR의 핵심 메커니즘은 적대적 소볼레프 정렬입니다.

쉽게 말해, 무작위 가우시안 노이즈 대신 자연 이미지의 주파수 특성을 반영한 컬러 노이즈 플로우를 사용합니다. 여기에 적대적 신경망을 동원해 기존 초해상도 모델들이 자주 범하는 왜곡 패턴을 실시간으로 만들어내고, 이를 고난도 네거티브 샘플로 삼아 주파수 가중 DPO로 모델을 교정합니다.

추론 단계에서는 듀얼 LoRA 구조를 채택했습니다. 약 885MB 크기의 베이스 SR LoRA가 해상도 복원의 뼈대를 잡고, 약 111MB 크기의 DPO LoRA가 왜곡을 억제하며 세부 구조를 다듬는 방식입니다.

성능 면에서는 DIV2K-Val 4배 확대 벤치마크 1위, RealSR 벤치마크 3위에 오르며 기술적 완성도를 입증했습니다.

요구 사양과 사용 방법

로컬 환경에서 직접 실행하려면 FLUX 모델의 무게를 감당할 수 있어야 합니다.

약 24GB에 달하는 FLUX.1-dev 원본 가중치와 합계 1GB 안팎의 LoRA 가중치를 함께 올려야 합니다. 파이썬 3.10, 파이토치 2.x, diffusers 0.30 이상 환경에서 BF16 정밀도로 동작하며, 단일 A100 GPU 기준으로 예제 이미지 추론에 약 1분이 걸립니다.

설치 과정 없이 바로 써보고 싶다면 Hugging Face Spaces에 마련된 공식 웹 데모를 이용하면 됩니다. 브라우저에서 저화질 이미지를 올리기만 하면 4배 확대 결과를 바로 확인할 수 있습니다.

현재 공개된 가중치는 128픽셀 입력을 512픽셀로 복원하는 4배율 설정에 맞춰져 있습니다. 라이선스는 CC-BY-NC-4.0으로 비상업적 연구 목적으로만 사용할 수 있습니다.

왜 중요한가

오래된 사진 복원이나 텍스트가 포함된 그래픽을 선명하게 다듬어야 하는 작업자에게 ASASR은 매우 매력적인 대안입니다. SUPIR 같은 기존 고성능 업스케일러는 선명함은 뛰어났지만 글자나 세밀한 패턴을 제멋대로 왜곡하는 환각 현상이 잦았는데, ASASR은 원본 충실도를 훨씬 안정적으로 지켜줍니다.

다만 FLUX라는 거대 모델을 백본으로 쓰는 만큼 연산 비용은 여전히 무겁습니다. 높은 정밀도가 필요한 오프라인 복원 작업에는 탁월하지만, 가벼운 실시간 이미지 처리 파이프라인으로 전환하기에는 자원 소모라는 뚜렷한 한계가 존재합니다.