미세조정 없이 4K 이미지 편집하는 오픈소스 도구 '에디트크래프터' 공개

AI를 활용해 사진을 편집할 때 가장 까다로운 장벽 중 하나는 해상도다. 시중에 나와 있는 대부분의 텍스트 기반 확산 모델은 512×512나 1024×1024 픽셀 수준으로 학습되어 있어, 고해상도 이미지를 그대로 넣으면 피사체가 여러 개로 복제되거나 형태가 기괴하게 일그러지기 일쑤다.

모델을 추가로 미세조정(파인튜닝)하거나 최적화하지 않고도 최대 4K 해상도의 이미지를 직접 수정할 수 있는 오픈소스 도구 '에디트크래프터(EditCrafter)'가 논문 및 코드와 함께 공개됐다.

재학습 없이 대형 이미지를 다루는 법

고해상도 이미지를 단순히 조각내어 부분별로 편집하는 방식은 전체적인 구조 붕괴와 패턴 반복을 피하기 어렵다.

에디트크래프터는 이를 해결하기 위해 타일 단위 인버전(tiled inversion) 방식을 먼저 거친다. 원본 고해상도 이미지의 외형과 정체성을 보존한 상태로 모델의 잠재 공간에 매핑해 두는 작업이다.

그다음, 팀이 고안한 NDCFG++(노이즈 감쇠 매니폴드 제약 무분류기 가이던스)를 적용한다. 쉽게 말해 거대한 해상도의 잠재 벡터로부터 노이즈를 걷어내는 과정에서 그림이 망가지지 않도록 세밀하게 제어해 주는 전용 가이던스 파이프라인이다.

실제 시연에서는 다양한 화면비의 편집이 무리 없이 이뤄졌다. 4000×2000 픽셀을 넘는 대형 사진 속 벚꽃을 단풍잎으로 자연스럽게 교체하거나, 평범한 풍경을 해질녘 사막으로 바꾸고 달을 지구로 대체하는 작업이 가능했다.

4096×2496 해상도의 4K 숲 이미지에서는 숲 전체를 불타오르는 화재 현장으로 바꾸거나 스톤헨지로 변경하면서도, 원본이 가진 질감과 디테일을 유지해 냈다.

24GB VRAM과 짙어지는 색감

로컬 PC에서 구동할 수 있는 소스 코드가 마련되어 있지만, 장벽이 없는 것은 아니다.

가장 큰 걸림돌은 하드웨어 사양이다. 설명서에 따르면 완전한 4K 이미지를 로컬에서 편집하려면 최소 24GB의 VRAM이 필요하다. 일반적인 중보급형 그래픽카드로는 구동이 어렵고, RTX 3090, RTX 4090 또는 전문 작업용 GPU가 요구된다.

결과물의 색조 특성도 염두에 두어야 한다. 원본과 비교했을 때 대비와 채도를 다소 끌어올려 출력하는 경향이 있어, 색감이 지나치게 진해지거나 과포화되는 현상이 종종 관찰된다. 정밀한 색 보정이 필요한 전문 작업자라면 결과물을 그래픽 툴로 가져와 별도의 톤 조절을 거칠 필요가 있다.

왜 중요한가

우리는 에디트크래프터가 거대 모델을 처음부터 다시 만드는 대신, 기존 모델의 잠재력을 알뜰하게 이끌어내는 영리한 경로를 택했다고 본다.

4K 해상도를 네이티브로 다루는 확산 모델을 밑바닥부터 학습시키는 일은 막대한 컴퓨팅 비용과 데이터 정제 작업이 든다. 에디트크래프터는 추가 학습 없이도 영리한 인버전 기법과 안내 알고리즘만 갖추면 기존 오픈소스 파운데이션 모델로 4K 편집이 가능하다는 점을 증명했다.

충분한 GPU를 갖춘 개발자나 창작자라면 이미지를 축소해 편집한 뒤 다시 업스케일러로 뻥튀기하는 번거로운 우회로를 거치지 않고, 대형 배경화면이나 고화질 사진을 명령어로 직접 수정할 수 있게 된다.

다만 24GB VRAM이라는 높은 진입장벽과 색감이 과포화되는 한계는 아직 해결해야 할 숙제다. 향후 메모리 효율화와 색감 제어 알고리즘이 덧붙여진다면 상용 그래픽 소프트웨어의 강력한 백엔드 엔진으로 자리 잡을 가능성이 충분하다.