HRM-Text: 1000달러로 1B 추론 모델을 바닥부터 사전학습
Sapient Intelligence가 1B 규모 추론 모델을 위한 사전학습 프레임워크 'HRM-Text'를 오픈소스로 공개했다. 계층형 순환 아키텍처를 도입해 기존 대비 연산량을 최대 600배 절감하면서도 GSM8k에서 84.7%를 기록했다. 전체 코드는 Apache 2.0 라이선스로 GitHub에 공개됐다.
Sapient Intelligence가 1B 규모 추론 모델을 위한 사전학습 프레임워크 'HRM-Text'를 오픈소스로 공개했다. 계층형 순환 아키텍처를 도입해 기존 대비 연산량을 최대 600배 절감하면서도 GSM8k에서 84.7%를 기록했다. 전체 코드는 Apache 2.0 라이선스로 GitHub에 공개됐다.