허깅페이스의 2인 팀 'H4', Zephyr 등 오픈소스 챗봇 모델 개발

허깅페이스의 'H4' 프로젝트는 누구나 오픈소스 도구와 데이터만으로 ChatGPT 수준의 대화형 모델을 구현할 수 있도록 훈련 레시피와 코드를 공개하고 있다.

이 프로젝트를 이끄는 조직은 단 2명의 머신러닝 엔지니어로 구성된 사내 연구 유닛이다. H4는 '도움이 되고, 정직하며, 무해하고, 허깅페이스다운(helpful, honest, harmless, huggy)'이라는 뜻을 담고 있다. 이들은 ChatGPT 등장 직후인 올해 1월 결성되어 오픈소스 언어모델 정렬(Alignment) 연구에 집중해 왔다.

2인 팀이 Zephyr를 만들어낸 방식

H4의 대표 모델은 'Zephyr-7B-α'다. 프랑스 스타트업 미스트랄의 Mistral 7B 기반 모델을 미세조정해 대화 성능을 끌어올렸다. 아부다비 TII의 Falcon-40B 모델 역시 이들의 손을 거쳐 자연어 명령에 더 유용하게 반응하도록 개조되었다.

엔지니어인 Lewis Tunstall과 Ed Beeching은 유럽 각지에서 원격으로 근무한다. 연구 트렌드 변화에 기민하게 대응하기 위해 2인 규모를 유지하고 있다. 대신 연산 자원은 탄탄하다. 허깅페이스의 1,000대 이상 규모 Nvidia A100 GPU 전용 클러스터를 연구에 활용하며, 사내 평가팀 및 외부 LMSYS, LlamaIndex와 협업해 모델을 다듬는다.

공개 범위와 활용 방안

H4는 모델 가중치만 배포하는 데 그치지 않고 전체 파이프라인을 공개했다. 이번 달 공개된 오픈소스 핸드북에는 Zephyr 제작에 쓰인 모든 훈련 소스코드와 데이터셋이 담겨 있다.

이들의 주 연구 과제는 커뮤니티와 업계에서 제안되는 여러 정렬 기법이 실제로 얼마나 효과적인지 검증하는 도구를 만드는 일이다. 향후 새로운 모델이 나올 때마다 관련 코드가 핸드북에 지속해서 추가될 예정이다.

H4 연구 자체는 직접적인 수익화를 목적으로 하지 않지만, 허깅페이스의 기업 맞춤형 솔루션 프로그램인 'Expert Acceleration Program'에 기술적 자산으로 흡수되어 활용된다.

왜 중요한가

H4의 성과는 소형 모델 정렬 과정을 누구나 따라 할 수 있는 투명한 레시피로 전환했다는 점에 있다. 개발자와 연구자들은 Zephyr 핸드북을 통해 7B 크기의 모델을 실제 대화형 비서 수준으로 끌어올리는 구체적인 방법론과 데이터를 그대로 확보할 수 있게 되었다.

1,000대가 넘는 A100 클러스터는 개인이 구축하기 어려운 자원이지만, 그 결과물로 나온 정렬 공식과 데이터가 투명하게 공개되면서 오픈소스 생태계 전반의 미세조정 장벽은 크게 낮아졌다. 오픈소스 대화형 AI의 실질적인 기준점을 제시한 행보다.