엔비디아, 비포·애프터 예시로 편집 스타일 복제하는 'LoRAWeave' 공개

AI로 이미지를 편집할 때 가장 까다로운 작업은 프롬프트를 다듬는 일입니다. '지브리 스타일', '점토 질감', '건축 스케치 느낌' 같은 단어를 아무리 정교하게 조합해도 모델이 머릿속에 있는 느낌을 그대로 구현해 내기는 쉽지 않습니다.

엔비디아는 이 문제를 해결하기 위해 시각적 예시를 기반으로 이미지를 변환하는 'LoRAWeave' 기술을 공개했습니다. 복잡한 텍스트 묘사 대신, 작업 전후 예시 사진을 직접 보여주는 방식입니다.

텍스트 프롬프트 대신 '비포·애프터' 보여주기

기존의 레퍼런스 편집 툴이 대개 한 장의 참조 이미지만 받는 것과 달리, LoRAWeave는 총 세 장의 이미지를 요구합니다.

첫 번째와 두 번째 이미지는 편집 예시입니다. 1번 이미지는 '편집 전', 2번 이미지는 '편집 후' 모습을 담고 있습니다. 그리고 3번 이미지가 사용자가 실제로 변환하고자 하는 대상 사진입니다.

모델은 1번에서 2번으로 넘어갈 때 어떤 시각적 변화가 일어났는지를 학습하고, 그 규칙을 3번 이미지에 그대로 복제해 적용합니다. 일종의 시각적 유추 문제를 푸는 셈입니다.

예를 들어 '건물 실사 사진 → 건축 펜 드로잉' 한 쌍을 예시로 주고 새로운 풍경 사진을 넣으면 똑같은 펜화 스케치로 바꿔줍니다. '새 사진 → 지브리풍 일러스트'를 보여주고 고양이 사진을 넣으면 같은 화풍으로 그려내며, '실사 인물 → 클레이 애니메이션' 전후 쌍을 주면 다른 인물도 점토 인형 스타일로 자연스럽게 바꿉니다.

준비 과정이 한 단계 늘어나지만, 텍스트 프롬프트보다 의도한 스타일을 훨씬 정밀하게 복제할 수 있습니다.

LoRA 기저를 조합해 실시간으로 가중치 계산

시각적 유추 편집은 이전에도 연구되었지만, 학습 데이터에 없던 새로운 스타일을 마주했을 때 일반화 능력이 떨어지는 한계가 있었습니다.

기존 방식들은 단일 LoRA 모듈 하나에 다양한 시각적 변환을 억지로 담아내려다 보니 표현할 수 있는 범위가 좁았습니다.

연구진은 이를 해결하기 위해 다양한 변환 요소를 아우를 수 있는 '학습 가능한 LoRA 기저(Basis)' 공간을 설계했습니다.

여기에 가벼운 인코더를 결합하여, 사용자가 비포·애프터 예시를 입력하면 인코더가 그 변화를 분석해 기초 LoRA들의 가중치를 한 번의 추론 과정에서 동적으로 조합합니다. 즉, 작업마다 최적화된 맞춤형 LoRA를 즉석에서 합성해 내기 때문에 완전히 새로운 스타일 변환도 매끄럽게 처리합니다.

왜 중요한가

우리는 LoRAWeave가 텍스트 중심 이미지 편집의 구조적인 한계를 영리하게 우회했다고 봅니다.

디자이너나 시각 예술가에게 특정 톤 보정, 종이 질감, 독특한 붓 터치 같은 미세한 표현은 글자로 설명하기가 불가능에 가깝습니다. 원하는 전후 작업물 두 장만 가져오면 동일한 처리 과정을 손쉽게 재현할 수 있다는 점은 현업 워크플로에 즉각적인 가치를 줍니다.

업계 관점에서도 멀티모달 모델의 인터페이스가 텍스트를 넘어 시각적 컨텍스트 자체를 명령어로 받아들이는 방향으로 진화하고 있음을 보여줍니다. 프롬프트 엔지니어링에 매달리지 않고 예시를 보여주는 방식이 점차 보편화될 가능성이 큽니다.

다만 명확한 비포·애프터 쌍을 미리 준비해야 한다는 점은 진입 장벽이 될 수 있습니다. 하지만 규격화된 스타일 변환을 반복적으로 수행해야 하는 창작자에게는 텍스트 프롬프트의 불확실성을 없애주는 확실한 도구가 될 것으로 보입니다.