TeleStyle 오픈소스 공개: 참조 이미지로 사진과 비디오 화풍 일괄 변환

사진 한 장을 만화나 수채화풍으로 바꾸는 일은 이미 흔해졌습니다. 하지만 영상 전체의 화풍을 바꾸려고 하면 이야기가 달라집니다. 원본 피사체의 형태가 무너지거나 프레임마다 깜빡임이 심해 눈으로 보기 힘든 결과물이 나오기 일쑤였습니다.

연구진은 이러한 한계를 극복한 스타일 변환 모델 TeleStyle을 오픈소스로 공개했습니다. 단일 이미지는 물론 영상 전체를 만화, 빅토리아 양식, 아톰펑크, 미니멀리즘 등 다양한 스타일로 변환하면서도 피사체와 구도를 안정적으로 유지해 줍니다.

최근 널리 쓰이는 디퓨전 트랜스포머(DiT) 모델들은 내부적으로 내용(Content)과 스타일(Style) 표현이 서로 얽혀 있어, 스타일만 골라 바꾸기가 까다로웠습니다. TeleStyle은 뛰어난 이미지 편집 및 원본 보존 성능을 갖춘 Qwen-Image-Edit을 베이스 모델로 삼아 이 문제를 풀었습니다.

혼합 데이터와 커리큘럼 학습

새로운 화풍을 자연스럽게 입히기 위해서는 학습 데이터 구성이 핵심입니다. 연구팀은 정제된 고품질 스타일 데이터셋을 구축하는 동시에, 실제 환경의 수천 가지 스타일 카테고리를 활용해 대규모 합성 데이터 세트를 만들었습니다.

여기에 정제된 데이터와 노이즈가 포함된 합성 데이터를 단계적으로 학습시키는 커리큘럼 연속 학습 방식을 적용했습니다. 그 결과 모델은 이전에 본 적 없는 낯선 스타일을 마주하더라도, 원본의 구조적 디테일을 망가뜨리지 않고 화풍만 정확히 입혀냅니다.

동영상 처리에는 프레임 간 시각적 일관성을 유지하는 전용 video-to-video 모듈이 쓰였습니다. 텍스트 프롬프트를 넣거나 참조 이미지 한 장만 제공해도 영상 전체가 일관된 톤으로 변환됩니다. 연구진에 따르면 TeleStyle은 스타일 유사도, 내용 일관성, 심미적 품질 등 3개 핵심 지표에서 최고 수준의 성능을 입증했습니다. 소스 코드와 가중치는 현재 모두 공개되어 있습니다.

왜 중요한가

동영상 스타일 변환 기술은 영상 제작 현장에서 오랜 시간 필요로 했지만, 프레임 깜빡임 문제로 인해 상용 수준에 도달하기 어려웠습니다. TeleStyle이 오픈소스로 풀리면서 1인 창작자나 소규모 스튜디오도 고가의 소프트웨어 없이 참조 이미지만으로 개성 있는 비디오 룩을 연출할 수 있게 됐습니다.

처음부터 거대 파운데이션 모델을 새로 훈련하지 않고, 편집 기능이 검증된 Qwen-Image-Edit을 기반 삼아 스타일 분리 메커니즘을 얹은 것은 매우 영리한 전략입니다. 개발 비용을 아끼면서도 원본 보존력이라는 핵심 과제를 안정적으로 챙겼습니다.

물론 기술 보고서에서는 경량화 모델이라고 설명하지만, 고해상도 비디오 프레임을 처리하려면 여전히 상당한 VRAM을 갖춘 GPU가 필요합니다. 그럼에도 참조 이미지를 바탕으로 영상 화풍을 손쉽게 바꾸는 오픈소스 파이프라인이 확보되었다는 점은 영상 생성 생태계에 분명 반가운 진전입니다.