TII, 1800억 매개변수 오픈소스 언어 모델 '팰컨 180B' 공개

팰컨 180B는 아랍에미리트 기술혁신연구소(TII)가 공개한 1800억 개 매개변수 규모의 오픈소스 대형 언어 모델이다. 공개 모델 중 최대 규모를 자랑한다.

메타의 라마 2 70B보다 2.5배 크며, 4096개 GPU를 동시에 투입해 3조 5000억 토큰을 학습했다. 아마존 세이지메이커 기준 약 700만 GPU 시간이 소요됐다. 벤치마크 평가에서 라마 2 70B와 오픈AI의 GPT-3.5를 넘어서며 구글의 독점 모델인 PaLM 2-Large에 필적하는 성능을 입증했다.

기술 구조와 학습 데이터

아키텍처는 이전 버전인 팰컨 40B의 구조를 확장했으며, 추론 효율과 확장성을 높이기 위해 멀티쿼리 어텐션(Multiquery Attention)을 적극 활용했다.

학습 데이터는 TII의 RefinedWeb 데이터셋에서 나온 웹 데이터가 약 85%를 차지한다. 나머지는 엄선된 대화, 기술 논문, 그리고 약 3%의 코드 데이터로 구성됐다. 데이터 규모가 워낙 방대해 3조 5000억 토큰을 처리하고도 단일 에포크를 다 채우지 못했다.

출시 모델은 사전 학습용 베이스 모델과 지시 튜닝된 챗 모델 두 가지다. 베이스 모델은 파인튜닝용으로 적합하며, 챗 모델은 간단한 대화 템플릿을 갖춰 즉시 대화형 추론에 활용할 수 있다.

하드웨어 요구 사항과 성능

공개 당시 허깅페이스 오픈 LLM 리더보드에서 68.74점을 기록하며 1위에 올랐다. MMLU 평가에서 라마 2 70B를 앞질렀고, HellaSwag, LAMBADA, ARC 등 주요 벤치마크에서는 PaLM 2-Large와 동등한 성적을 냈다. 전반적으로 GPT-3.5와 GPT-4 사이에 위치하는 성능이다.

하지만 이를 직접 구동하기 위한 하드웨어 장벽은 매우 높다. BF16 또는 FP16 정밀도로 추론을 실행하려면 640GB VRAM이 필요해 80GB A100 GPU 8장이 필수적이다. 4비트 양자화를 거치더라도 320GB VRAM이 요구되어 40GB A100 8장이 필요하다.

전체 파인튜닝에는 A100 80GB가 64장 필요하지만, QLoRA 기법을 사용하면 80GB A100 2장으로 요구 사양을 낮출 수 있다. 8비트 및 4비트 양자화 모델이 원본과 비교해 성능 저하가 거의 없다는 점은 긍정적이다.

사용 방법과 라이선스 제한

허깅페이스 트랜스포머스 라이브러리를 4.33 이상으로 업데이트하면 tiiuae/falcon-180B 경로를 통해 손쉽게 불러올 수 있다. 고성능 GPU 장비가 없다면 허깅페이스 스페이스에 개설된 팰컨 챗 데모를 통해 웹상에서 무료로 사용해 볼 수 있다.

주의해야 할 부분은 라이선스 조건이다. 상업적 이용 자체는 허용되지만, 제3자 대상 모델 호스팅 서비스를 명시적으로 금지하는 등 제약 조건이 매우 까다롭다. API 비즈니스를 염두에 둔 팀이라면 사전에 법무 검토가 필요하다.

왜 중요한가

팰컨 180B는 대규모 연산 자원과 정제된 데이터셋의 결합을 통해 오픈 진영 모델도 독점 폐쇄형 모델의 최상위권 수준에 도달할 수 있음을 보여줬다.

다만 추론에만 고가 GPU 8장이 투입되어야 하고 엄격한 호스팅 금지 라이선스가 걸려 있는 만큼, 일반 개발자나 스타트업이 일상적으로 쓰기에는 비용 부담이 크다. 자체 인프라를 갖추고 클라우드 벤더 종속에서 벗어나고자 하는 대형 엔터프라이즈나 연구 기관에 실질적인 가치를 지닌 모델이다.