HRM-Text: 1000달러로 1B 추론 모델을 바닥부터 사전학습

수천만 달러 규모의 컴퓨팅 자원이 투입되는 거대 AI 시대에, 파운데이션 모델을 바닥부터 학습시키는 일은 사실상 빅테크의 전유물로 여겨져 왔습니다. 하지만 최신 스마트폰 한 대 가격으로 뛰어난 추론 능력을 갖춘 1B 모델을 직접 사전학습할 수 있다면 이야기가 달라집니다.

Sapient Intelligence는 GitHub를 통해 HRM-Text의 전체 사전학습 프레임워크를 Apache 2.0 라이선스로 오픈소스 공개했습니다. 약 1000달러 수준의 연산 비용만으로 10억 파라미터 텍스트 추론 모델을 처음부터 학습시킬 수 있도록 설계된 프로젝트입니다.

뇌 구조에서 착안한 잠재 추론으로 연산량 600배 절감

HRM-Text가 학습 비용을 극적으로 낮출 수 있었던 핵심은 무작정 데이터를 쏟아붓는 방식을 벗어났기 때문입니다. 인간 뇌의 정보 처리 방식에서 영감을 얻은 계층형 순환 아키텍처를 도입해, 잠재 공간 내부에서 다단계 추론과 과업 수행을 처리하도록 만들었습니다.

프로젝트 측에 따르면 이 구조 덕분에 사전학습 연산량은 기존 대비 130배에서 최대 600배 줄었고, 필요한 학습 데이터양도 150배에서 900배가량 절감됐습니다. 학습에 사용된 데이터는 약 400억 개의 구조화된 토큰으로, 비슷한 체급의 일반 모델과 비교하면 약 1000분의 1 수준에 불과합니다.

비용 계산도 현실적입니다. H100 시간당 2달러 수준의 클라우드 요금을 기준으로, 0.6B 크기의 L 모델은 H100 8장 단일 노드에서 50시간 동안 약 800달러가 듭니다. 1B 크기의 XL 모델은 2개 노드에서 총 16장의 H100으로 46시간 동안 학습을 진행해 약 1472달러가 소요됩니다.

성능 역시 기대 이상입니다. 공식 벤치마크 결과에 따르면 1B 모델은 GSM8k에서 84.7%, MATH 56.5%, MMLU 60.7%, DROP 82.3%를 기록했습니다. 단 10억 파라미터 크기와 극도로 압축된 데이터양을 고려하면, 수치 추론과 문제 해결 능력 면에서 상당한 효율을 입증한 셈입니다.

잘 갖춰진 파이프라인, 하지만 Hopper 한정의 문턱

엔지니어링 완성도는 꽤 높습니다. PrefixLM 시퀀스 패킹, FlashAttention 3, PyTorch FSDP2 분산 학습, 가중치 변환 도구가 유기적으로 엮여 있으며, 바로 실행 가능한 Docker 이미지까지 제공됩니다.

다만 하드웨어 요구 조건은 까다롭습니다. 어텐션 커널이 FlashAttention 3에 강하게 묶여 있어, 학습 환경이 NVIDIA H100을 비롯한 Hopper 아키텍처 GPU로 한정됩니다. 일반 소비자용 그래픽카드나 이전 세대인 A100 등에서는 기본 학습 코드를 그대로 돌릴 수 없습니다.

체크포인트 평가 과정에서도 통상 80GB VRAM을 갖춘 GPU 1장이 필요합니다. 생태계 연동의 경우 Hugging Face Transformers 지원 코드는 차기 배포 버전에 병합되었으며, vLLM 네이티브 지원은 현재 작업 중인 상태입니다.

왜 중요한가

우리는 HRM-Text의 진짜 가치가 단순한 벤치마크 수치보다, 기저 모델을 직접 학습시킬 수 있는 권리를 소규모 연구팀과 개발자들에게 돌려준 데 있다고 봅니다.

그동안 대학 연구실이나 스타트업은 막대한 비용 탓에 남이 만든 모델을 파인튜닝하는 데 만족해야 했습니다. 하지만 1000달러 남짓한 예산과 이틀 정도의 시간으로 자체 파운데이션 모델을 만들 수 있다면, 특정 도메인에 특화된 고유 데이터로 나만의 추론 엔진을 바닥부터 구축해보는 시도가 가능해집니다.

업계 전반으로도 무조건적인 데이터 스케일링 법칙에 신선한 질문을 던집니다. 잠재 공간 내 순환 설계를 정교화하면 400억 토큰이라는 작은 데이터셋으로도 높은 추론 역량을 끌어낼 수 있음을 보여줬기 때문입니다.

물론 이 계층형 순환 구조가 7B나 70B 이상의 대형 모델에서도 선형적인 성능 향상을 이어갈 수 있을지는 검증이 더 필요합니다. Hopper GPU에 대한 강한 의존성 역시 개인 개발자들에게는 여전한 진입장벽입니다. 그럼에도 불구하고 천 달러 수준의 비용으로 84.7%의 GSM8k 모델을 뽑아냈다는 사실은 모델 효율화 연구에 분명한 자극제가 될 것입니다.