사카나 AI, 일본 전통 우키요에 특화 이미지 생성 AI 모델 공개

사카나 AI가 일본 전통 목판화인 우키요에 화풍에 특화된 이미지 생성 모델 'Evo-Ukiyoe'와 채색 모델 'Evo-Nishikie'를 오픈소스로 공개했다. 일본어 텍스트로 우키요에 화풍의 이미지를 만들거나, 오래된 흑백 고서 삽화를 다채로운 판화 스타일로 자동 채색할 수 있다.

두 모델의 역할은 명확히 나뉜다. 텍스트 투 이미지 모델인 Evo-Ukiyoe는 벚꽃, 기모노, 새 등 전통 우키요에에 자주 등장하는 요소를 입력하면 에도 시대 화풍을 정교하게 재현한다. 햄버거나 노트북 같은 현대적 사물을 그릴 수도 있지만, 개발진은 이런 경우 가끔 우키요에 화풍을 완전히 벗어난 결과가 나올 수 있다고 설명한다.

이미지 투 이미지 채색 모델인 Evo-Nishikie는 단색 판화 이미지를 입력받아 다채로운 색감의 니시키에로 바꿔준다. 단색 고서 삽화 원본과 색상 지시 프롬프트를 함께 넣으면 자연스럽게 색이 입혀지며, 기존 컬러 판화의 색감을 새롭게 바꾸는 작업도 가능하다.

구현 방식과 학습 데이터

두 모델은 처음부터 학습된 기본 모델이 아니다. 사카나 AI가 스태빌리티 AI의 SDXL 등 여러 오픈소스 확산 모델을 진화형 모델 병합 기술로 결합해 만든 베이스 모델 'Evo-SDXL-JP'를 기반으로 한다.

핵심 경쟁력은 고품질 아카이브 데이터다. 사카나 AI는 교토 리츠메이칸 대학교 아트 리서치 센터(ARC)와 협력해 2만 4,000여 점이 넘는 고해상도 우키요에 작품 데이터를 확보했다. 전신도부터 인물 얼굴 중심 묘사, 화려한 다색 판화까지 폭넓은 작품군이 학습에 쓰였다.

기술적으로 Evo-Ukiyoe는 해당 데이터셋으로 LoRA 미세조정을 거쳤으며, 채색 모델인 Evo-Nishikie는 Evo-Ukiyoe 위에 고정 프롬프트와 조건부 이미지를 활용한 컨트롤넷(ControlNet) 학습을 적용해 완성했다.

실행 방법과 한계

두 모델과 실행용 파이썬 스크립트, LoRA 가중치는 모두 허깅페이스에 아파치 2.0 라이선스로 공개되어 누구나 내려받을 수 있다.

다만 몇 가지 제약이 있다. 현재 프롬프트는 일본어만 지원하므로 다른 언어로 입력하면 원하는 품질을 얻기 어렵다.

또한 사카나 AI는 이 모델을 실험적 프로토타입으로 규정하고 있어, 상업적 이용이나 안정성이 중요한 서비스 환경에는 적합하지 않다.

왜 중요한가

일반 범용 이미지 모델도 프롬프트를 통해 우키요에 느낌을 흉내 낼 수는 있지만, 전통 목판화 특유의 선 맛과 안료 질감까지 살리기는 어렵다. 인문학 연구자나 교육자, 일러스트레이터에게는 박물관에 잠들어 있던 고문헌 삽화를 단 몇 초 만에 생생한 컬러 자료로 되살릴 수 있는 유용한 도구가 생긴 셈이다.

동시에 문화 특화 모델이 나아갈 똑똑한 방향을 보여준다. 천문학적인 비용을 들여 거대 범용 모델과 정면 승부하기보다, 공신력 있는 전문 아카이브를 결합해 정교한 소형 특화 모델을 만드는 방식이 여전히 큰 가치를 지닌다는 점을 증명했다.