엔비디아의 GauGAN2: 거친 스케치와 텍스트로 완성하는 실사 풍경화

원하는 풍경을 만들기 위해 텍스트 프롬프트를 수십 번 고쳐 써 본 사람이라면, 무작위 생성 방식이 주는 피로감을 잘 알고 있을 것입니다. 언덕의 위치를 살짝 옮기고 싶을 뿐인데 문장 한 줄 바꿨다는 이유로 전혀 다른 그림이 튀어나오기 일쑤입니다.

NVIDIA 연구 부서가 선보인 GauGAN2는 텍스트 입력과 스케치를 결합해 이 문제를 해결하려는 웹 기반 데모 툴입니다. 후기 인상주의 화가 폴 고갱(Paul Gauguin)과 생성적 적대 신경망(GAN)의 이름을 딴 이 모델은 NVIDIA의 슈퍼컴퓨터 Selene을 동원해 고품질 풍경 이미지 1000만 장을 학습했습니다.

그림판 쓰듯 제어하는 풍경 생성

GauGAN2는 텍스트로 자연을 묘사하는 방식도 지원합니다. 사막 위로 지는 해 같은 문구를 넣으면 그럴듯한 실사 풍경이 즉각 생성됩니다. 하지만 핵심 기능은 그 이후에 이루어지는 세부 제어에 있습니다.

화면 안에는 세그멘테이션 맵이 통합되어 있어 사용자가 직접 영역을 지정할 수 있습니다. 안개, 언덕, 돌, 눈, 물과 같은 라벨을 선택한 뒤 연필이나 브러시 툴로 화면에 선을 긋는 구조입니다.

하늘 영역에 원 하나를 그리면 곧바로 태양으로 렌더링되고, 뒷배경에 뾰족한 산봉우리를 몇 개 그리면 웅장한 산맥이 들어섭니다. NVIDIA는 동일한 기술을 기반으로 크리에이터용 무료 데스크톱 소프트웨어인 Canvas도 배포하고 있지만, 이 프로그램은 자사의 RTX GPU가 장착된 PC에서만 구동됩니다.

레트로한 조작계와 기괴한 오작동

막강한 슈퍼컴퓨터로 만든 기술이지만, 브라우저에서 만나는 데모 환경은 최신 소프트웨어와 거리가 멉니다. 초기 윈도우 그림판을 연상시키는 투박하고 불친절한 인터페이스 탓에, 처음 접속하면 우측 상단 튜토리얼을 먼저 찾아보게 됩니다.

제어가 너무 자유로운 탓에 화면이 순식간에 망가지는 일도 흔합니다. 사용자가 그은 획이 조금만 어색하거나 터무니없는 단어를 텍스트 창에 입력하면, 사실적인 풍경 대신 기괴한 아방가르드 미술 같은 결과물이 나옵니다.

실제 테스트 과정에서도 산 풍경을 요청했을 때 눈과 동물의 털이 뒤섞인 듯한 기묘한 질감이 출력되는 등, 정밀한 실사와 기괴한 실패작 사이의 경계가 상당히 좁은 편입니다.

왜 중요한가

GauGAN2는 프롬프트 무작위 생성에 의존하던 AI 아트 분야에서 구조적 레이아웃 제어의 가능성을 명확히 짚어냈다는 점에서 주목할 만합니다.

게임 콘셉트 아트나 영상 스토리보드를 제작하는 아티스트들에게는 꽤 실용적인 보조 도구가 될 수 있습니다. 빛이나 재질감을 일일이 칠하지 않고도 몇 번의 붓질로 구도를 잡고 분위기를 검토할 수 있어 기획 단계의 시간을 대폭 줄여줍니다.

우리는 텍스트와 영역 라벨링을 결합해 AI의 형태 생성 자유도를 적절히 제한한 NVIDIA의 접근 방식이 상당히 영리하다고 봅니다. 창작자에게 가장 중요한 구도 결정권을 다시 사람 손에 쥐여주었기 때문입니다.

다만 한계도 뚜렷합니다. GAN 기반 모델 특성상 학습 영역을 조금만 벗어나도 결과물이 쉽게 망가지며, 데모의 조작 환경 역시 실제 작업 파이프라인에 편입하기에는 너무 거칩니다. 완성도 높은 제품이라기보다는 향후 디자인 도구가 나아갈 방향을 보여주는 인상적인 기술 실증으로 평가하는 것이 적절해 보입니다.