카파시, '나노챗' 공개: 8천 줄 코드로 4시간 만에 ChatGPT 풀스택 구현
안드레이 카파시가 ChatGPT 복제 모델을 처음부터 학습시키는 풀스택 파이프라인 'nanochat'을 공개했다. 약 8,000줄의 간결한 코드로 토크나이저 제작부터 사전학습, SFT, GRPO 강화학습, 추론 UI까지 전 과정을 지원한다. 8장의 H100 환경에서 약 100달러(4시간)면 대화 가능한 모델을 직접 훈련할 수 있다.
안드레이 카파시가 ChatGPT 복제 모델을 처음부터 학습시키는 풀스택 파이프라인 'nanochat'을 공개했다. 약 8,000줄의 간결한 코드로 토크나이저 제작부터 사전학습, SFT, GRPO 강화학습, 추론 UI까지 전 과정을 지원한다. 8장의 H100 환경에서 약 100달러(4시간)면 대화 가능한 모델을 직접 훈련할 수 있다.