TII, 1800억 매개변수 오픈소스 언어 모델 '팰컨 180B' 공개
TII가 1800억 개 매개변수를 지닌 오픈소스 언어 모델 '팰컨 180B'를 허깅페이스에 공개했다. 3조 5000억 토큰으로 학습되어 라마 2 70B를 앞서고 구글 PaLM 2-Large에 필적한다. 다만 상업적 호스팅이 제한되며 추론에 A100 GPU 8장이 요구된다.
TII가 1800억 개 매개변수를 지닌 오픈소스 언어 모델 '팰컨 180B'를 허깅페이스에 공개했다. 3조 5000억 토큰으로 학습되어 라마 2 70B를 앞서고 구글 PaLM 2-Large에 필적한다. 다만 상업적 호스팅이 제한되며 추론에 A100 GPU 8장이 요구된다.