단 한 장의 이미지로 움직이는 3D 헤어 생성하는 'HairDeck' 오픈소스 공개

2D 캐릭터를 3D로 옮겨본 사람이라면 머리카락 작업이 얼마나 까다로운지 잘 알 것입니다. 기존의 3D 생성 AI로 머리를 만들면 두상과 하나로 뭉쳐진 덩어리 메쉬가 나오기 일쑤여서, 고개를 돌려도 헬멧처럼 굳어 움직이지 않습니다.

게임이나 아바타 제작 현장에서는 띠 모양의 폴리곤인 '헤어 카드'를 아티스트가 직접 배치하고, 스프링 본을 심어 자연스럽게 흔들리도록 만듭니다. 이번에 오픈소스로 공개된 'HairDeck'은 이 번거로운 공정을 완전히 자동화했습니다.

캐릭터 일러스트 한 장만 넣으면 UV 맵이 포함된 스타일화 3D 헤어 카드를 생성하고, 물리 효과를 담당하는 스프링 본 체인까지 한 번에 연결해 줍니다.

카드 하나를 토큰 하나로, 속도는 33배 단축

기존에 헤어 카드를 생성하던 대표 모델 CHARM은 머리카락 제어점을 순차적으로 추론하는 자기회귀 방식을 썼습니다. 이 때문에 생성 속도가 너무 느렸고, 머리카락 가닥의 각도가 엉뚱하게 뒤틀리는 문제도 잦았습니다.

HairDeck 연구진은 헤어스타일을 순서가 없는 '헤어 카드의 집합'으로 정의했습니다. 각 카드의 기하학적 형태, 뿌리 위치, 회전 방향을 압축해 하나의 토큰으로 만든 뒤, 집합 확산 트랜스포머를 통해 모든 카드를 동시에 디노이징합니다.

이어서 두 번째 트랜스포머가 스프링 본 체인을 생성하고 지오메트릭 스키닝으로 카드를 본에 결합합니다. 원본 이미지에서 헤어 컬러를 직접 추출하기 때문에 브릿지나 그라데이션이 들어간 다채로운 헤어도 그대로 살려냅니다.

벤치마크 결과는 놀랍습니다. CHARM의 100개 헤어스타일 테스트셋 기준, 메쉬화 전 단계의 카드 생성 시간이 33.7초에서 1.01초로 줄어 약 33배 빨라졌습니다. Chamfer 거리는 44% 감소했고, 카드 방향 오차도 절반 이상 줄어들었습니다.

2.45GB 크기로 로컬 실행, VRM 포맷 즉시 추출

HairDeck의 가장 큰 강점은 즉시 써볼 수 있는 완성도입니다. 연구팀은 논문 발표에 그치지 않고 코드와 가중치, 학습 스크립트까지 전부 공개했습니다.

Hugging Face에 올라온 모델 전체 용량은 약 2.45GB에 불과합니다. 엔비디아 GPU는 물론 애플 실리콘도 기본 지원해 맥북이나 일반 소비자용 PC에서도 무리 없이 구동할 수 있습니다.

버튜버 크리에이터나 인디 게임 개발자에게 반가운 소식은 생성된 결과물을 표준 VRM 아바타 형식으로 바로 내보낼 수 있다는 점입니다. 캐릭터가 머리를 돌리거나 움직일 때 스프링 본에 맞춰 머리카락이 자연스럽게 휘날립니다.

라이선스 역시 상업적 이용이 자유로운 Apache 2.0을 채택했습니다. 학습 스크립트가 함께 제공되므로 자체적인 화풍이나 게임 스타일에 맞춰 추가 파인튜닝을 진행하기도 쉽습니다.

왜 중요한가

대다수 3D 생성 AI가 '완성된 캐릭터 하나'를 통째로 만드는 데 매달리지만, 그렇게 나온 메쉬는 뼈대도 없고 리깅도 불가능해 실제 엔진에 넣기 어렵습니다. HairDeck의 영리한 점은 게임 업계의 오랜 표준인 '헤어 카드와 스프링 본'이라는 실무 단위에 정확히 집중했다는 것입니다.

블렌더에서 반나절 이상 걸리던 머리카락 배치와 웨이트 작업을 1초 만에 끝낼 수 있다는 것은 1인 개발자나 소규모 스튜디오에 매우 실질적인 혜택입니다. 단순히 화면에 띄워보는 렌더링용 모델이 아니라, 즉시 조작 가능한 에셋이 나오기 때문입니다.

다만 애니메이션 풍의 스타일화 캐릭터에 맞춰져 있어 극사실적인 머릿결이나 복잡한 땋은 머리 표현에는 한계가 있습니다. 그럼에도 3D 메쉬 생성 단계에서 물리 본 구조를 함께 풀어낸 HairDeck의 방식은 향후 생성형 3D 파이프라인이 나아갈 방향을 명확히 보여줍니다.