허깅페이스의 2인 팀 'H4', Zephyr 등 오픈소스 챗봇 모델 개발
테크크런치에 따르면, 허깅페이스 내 단 2명으로 구성된 'H4' 팀이 오픈소스 챗봇 모델 정렬 연구를 주도하고 있다. 이들은 1,000대 이상의 A100 GPU를 활용해 Zephyr-7B-α 등을 개발했으며, 훈련 코드와 레시피를 커뮤니티에 공개하고 있다.
Falcon-40B
오픈소스 LLM Falcon, 허깅페이스 생태계 합류
허깅페이스는 아부다비 TII가 개발한 오픈소스 LLM 'Falcon' 시리즈 지원을 발표했다. 아파치 2.0 라이선스로 상업적 이용이 가능하며, Falcon-40B는 LLaMA-65B를 제치고 오픈 LLM 리더보드 1위에 올랐다. 멀티쿼리 어텐션을 적용해 추론 메모리 효율을 크게 높였으며 일반 PC에서도 구동할 수 있다.