오픈소스 LLM Falcon, 허깅페이스 생태계 합류

Falcon은 아부다비 기술혁신연구소(TII)가 개발해 공개한 오픈소스 대규모 언어 모델 시리즈입니다. 400억 개의 파라미터를 가진 Falcon-40B와 70억 개의 Falcon-7B로 구성되며, 아파치 2.0 라이선스로 배포되어 상업적 이용에 아무런 제약이 없습니다. 공개 당시 Falcon-40B는 허깅페이스 오픈 LLM 리더보드에서 LLaMA-65B를 제치고 1위에 올랐습니다.

기본 모델 외에도 대화 및 지시 수행에 특화된 Falcon-7B-Instruct와 Falcon-40B-Instruct 모델이 함께 공개되었습니다. 아울러 TII는 모델 학습에 사용된 핵심 데이터셋인 RefinedWeb에서 6000억 토큰 분량을 추출해 오픈소스로 함께 개방했습니다.

핵심 메커니즘과 데이터

Falcon의 높은 성능은 데이터 품질에서 비롯되었습니다. 사전 학습 데이터의 80% 이상이 CommonCrawl 기반의 고품질 웹 데이터인 RefinedWeb으로 구성되어 있으며, 대규모 중복 제거와 엄격한 필터링을 거쳤습니다. Falcon-7B는 1.5조 토큰, Falcon-40B는 1조 토큰으로 학습되었습니다. Falcon-40B는 LLaMA-65B의 절반 수준 연산량만으로 더 뛰어난 점수를 기록했습니다.

구조적으로는 멀티쿼리 어텐션(Multi-Query Attention)을 적용했습니다. 모든 어텐션 헤드가 키와 밸류를 공유하는 방식으로, 추론 시 autoregressive 디코딩에 필요한 KV 캐시 용량을 10배에서 100배까지 줄여줍니다. 2048 토큰 컨텍스트 기준 Falcon-40B의 캐시 크기는 240MB에 불과해 5400MB가 필요한 LLaMA-65B보다 압도적으로 가볍습니다. Falcon-7B는 20MB 수준입니다.

필요한 사양과 실행 방법

Falcon-7B는 약 15GB의 GPU 메모리를 요구하므로 일반 소비자용 그래픽카드에서도 추론과 파인튜닝이 가능합니다. M1 맥북 프로에서 구동할 수 있는 Core ML 가중치도 제공됩니다.

Falcon-40B는 원래 정밀도인 bfloat16 기준으로 약 90GB의 VRAM이 필요해 80GB A100 단일 카드로는 부족합니다. 하지만 8비트 양자화를 적용하면 약 45GB로 줄어들어 48GB A6000에서 구동할 수 있고, 4비트 양자화 시에는 약 27GB까지 내려가 30GB에서 40GB 메모리를 가진 하드웨어에서 실행할 수 있습니다.

transformers 라이브러리로 모델을 불러올 때는 trust_remote_code=True 설정이 필요하며, 모델 학습에 사용된 bfloat16 타입을 사용하는 것이 권장됩니다. 대규모 서비스 배포를 위해서는 TGI(Text Generation Inference)를 통한 엔드포인트 구축도 지원됩니다.

왜 중요한가

그동안 최고 수준의 오픈 LLM들은 상업적 이용이 불가능한 라이선스로 묶여 있어 실제 기업 제품에 도입하기 어려웠습니다. Falcon-40B는 LLaMA-65B를 뛰어넘는 성능을 보이면서도 아파치 2.0 라이선스를 채택해 법적 문제 없이 상용 제품에 탑재할 수 있는 길을 열었습니다.

자체 인프라에서 안전하게 LLM을 운영하려는 개발사와 기업에게 가장 매력적인 선택지입니다. 특히 멀티쿼리 어텐션 덕분에 대규모 동시 추론 시 서버 메모리 비용을 크게 절감할 수 있다는 점은 실제 서비스 운영 단계에서 매우 강력한 장점입니다.