허깅페이스, 노코드 합성 데이터 생성기 공개: 프롬프트로 데이터셋 구축

특화된 AI 모델을 직접 파인튜닝하고 싶어도, 정작 학습에 쓸 데이터셋이 없어 시작조차 못 하는 경우가 많습니다.

Hugging Face는 자연어로 요구사항을 설명하기만 하면 맞춤형 합성 데이터셋을 자동으로 만들어주는 노코드 도구인 'Synthetic Data Generator'를 공개했습니다.

말 한마디로 데이터셋부터 모델 학습까지

기존에 합성 데이터를 만들려면 복잡한 파이썬 스크립트를 짜거나 LLM API 파이프라인을 직접 구축해야 했습니다. Hugging Face는 이 전 과정을 직관적인 웹 인터페이스로 단순화했습니다. 내부적으로는 오픈소스 합성 데이터 프레임워크인 distilabel과 무료 Hugging Face 텍스트 생성 API를 기반으로 구동됩니다.

작업은 3단계로 진행됩니다. 먼저 만들고 싶은 데이터셋의 목적과 예시를 자연어로 입력하면, 시스템이 이를 바탕으로 시스템 프롬프트와 샘플 데이터를 먼저 뽑아냅니다. 샘플을 확인하며 프롬프트와 생성 온도를 조정한 뒤, 원하는 생성 수량을 지정하고 버튼을 누르면 대량 생성이 시작됩니다.

현재 지원하는 작업은 텍스트 분류와 SFT(지도 미세조정)용 대화 데이터 두 가지입니다. 기본 무료 환경인 Llama-3.1-8B-Instruct 모델 기준으로 텍스트 분류는 분당 약 50개, 대화 데이터는 분당 약 20개의 샘플을 생성합니다. 생성된 데이터셋은 Hugging Face Hub에 저장되며, 내장된 Argilla 도구로 곧바로 넘어가 의미론적 검색과 필터를 통해 데이터를 검수할 수 있습니다. 나아가 AutoTrain과 연동하면 무료 CPU 리소스만으로 몇 분 만에 전용 분류 모델을 학습시키는 것도 가능합니다.

오픈소스 공개와 고급 사용자 커스텀

초보자용 노코드 툴에 그치지 않고, 개발자를 위한 커스터마이징 경로도 열어두었습니다.

이 도구는 Apache 2 라이선스로 오픈소스 공개되어 로컬 환경에서 pip 명령어로 직접 설치할 수 있으며, Hugging Face Space를 개인 계정으로 복제해 비공개로 운영할 수도 있습니다.

환경 변수를 수정하면 기본 8B 모델 대신 Llama-3.1-70B 모델이나 OpenAI의 gpt-4o API로 교체할 수 있고, 배치 크기를 키워 생성 속도를 끌어올릴 수도 있습니다. Hugging Face는 향후 RAG용 데이터 및 LLM-as-a-judge 평가 데이터셋 생성 기능도 순차적으로 추가할 계획이라고 밝혔습니다.

왜 중요한가

우리는 Hugging Face가 합성 데이터 파이프라인의 진입 장벽을 대폭 낮춘 매우 실용적인 도구를 내놓았다고 생각합니다.

지금까지 데이터 합성이나 파인튜닝은 머신러닝 엔지니어의 전유물이었습니다. 정작 도메인 전문 지식을 가진 현업 실무자는 데이터를 가공할 코딩 능력이 부족해 AI 도입에 어려움을 겪었습니다. 이 도구를 쓰면 복잡한 코드 없이도 특정 도메인 지식을 갖춘 맞춤형 데이터셋을 몇 시간 만에 구축할 수 있습니다.

특히 플랫폼 생태계를 연결한 방식이 똑똑합니다. 단순히 데이터만 뽑아주는 데서 끝나는 것이 아니라, 검수 도구인 Argilla, 저장소인 Hub, 학습 도구인 AutoTrain까지 매끄럽게 연결했습니다. 사용자는 가벼운 마음으로 데이터를 만들러 들어왔다가 자연스럽게 Hugging Face의 전체 도구군에 안착하게 됩니다.

다만 기본 제공되는 8B 모델 특성상 환각이나 어색한 표현이 섞일 가능성은 여전히 존재합니다. Argilla를 통한 검수 단계를 생략하고 합성된 데이터를 무비판적으로 모델 학습에 쏟아부으면 품질 저하를 피하기 어렵습니다. 그럼에도 불구하고 초기 프로토타입을 빠르게 검증해보고 싶은 팀이나 개인 개발자에게는 지금 즉시 써볼 만한 가치가 충분합니다.