허깅페이스, 논문 분석부터 모델 훈련까지 혼자 하는 'ml-intern' 오픈소스 공개

머신러닝 팀에서 인턴 연구원을 멘토링해 본 사람이라면 익숙한 풍경이 있습니다. 최신 논문 서너 편을 쥐여주고, 거기 언급된 데이터셋을 긁어모아 정제하게 한 뒤, 학습 스크립트를 돌리고 밤새 손실 곡선을 지켜보게 하는 일입니다.

허깅페이스는 이 지루하고 손이 많이 가는 사후 훈련(Post-Training) 전 과정을 AI에게 통째로 넘기기로 했습니다.

허깅페이스는 연구원의 자잘한 실무를 대신 수행하는 오픈소스 에이전트 프레임워크인 'ml-intern'을 공개했습니다.

논문 읽고 스크립트 작성까지, 10시간 만에 모델 성능 대폭 개선

ml-intern은 허깅페이스의 경량 에이전트 프레임워크인 smolagents를 기반으로 작동하며, 실제 머신러닝 연구원의 작업 방식을 그대로 모방합니다.

가장 인상적인 성과는 튀빙겐 대학교와 막스 플랑크 연구소 연구진이 제안한 'PostTrainBench' 벤치마크 테스트에서 나왔습니다. 이 평가는 단 한 장의 H100 GPU와 10시간이라는 엄격한 제약 속에서 에이전트가 베이스 모델을 얼마나 똑똑하게 훈련시킬 수 있는지를 측정합니다.

공식 데모에서 ml-intern은 GPQA 과학적 추론 벤치마크에서 베이스 점수가 약 10%에 불과했던 초소형 모델 Qwen3-1.7B를 넘겨받았습니다. 에이전트는 arXiv와 Hugging Face Papers를 뒤져 인용 관계를 분석하고, 허깅페이스 허브에서 데이터를 가져와 전처리한 뒤 미세조정을 시작했습니다.

작업 시작 3시간여 만에 점수는 27.5%를 넘어섰고, 10시간이 채 되기 전에 32%까지 치솟았습니다(일부 데모에서는 최고 39% 기록). 같은 과제에서 Claude Code가 기록한 22.99%를 크게 앞지른 수치로, 숙련된 연구원이 매달려도 반나절 만에 1.7B 모델에서 이 정도 추론 성능을 끌어내기는 쉽지 않습니다.

단순 파인튜닝을 넘어선 합성 데이터 생성과 GRPO 구현

ml-intern이 단순한 자동화 매크로와 다른 점은 파이프라인에서 막히는 부분이 생겼을 때 스스로 우회로를 찾는다는 것입니다.

의료 도메인 테스트에서 에이전트는 기존 공개 데이터셋의 품질을 검토한 뒤 '안정적인 파인튜닝을 하기엔 품질이 낮다'고 판단했습니다. 그러자 곧바로 다국어 응급 상황이나 의학적 완곡 표현 같은 예외 케이스를 생성하는 스크립트를 직접 짜서 합성 데이터를 만들고, 이를 학습 데이터에 추가해 HealthBench 점수를 끌어올렸습니다.

수학 도메인에서는 기존 PPO보다 메모리 부담이 적은 강화학습 기법인 GRPO(Group Relative Policy Optimization) 스크립트를 직접 작성해 A100 GPU에서 학습을 돌렸습니다. 보상 붕괴(reward collapse) 현상을 진단하고 어블레이션 테스트를 거치며 최적의 체크포인트를 찾아냈습니다.

허깅페이스 생태계와의 밀결합도 강점입니다. 로컬 연산 자원이 부족하면 Hugging Face Jobs를 통해 클라우드 인스턴스를 즉시 띄우고, 실험 추적에는 무거운 외부 도구 대신 자체 오픈소스인 Trackio를 사용합니다. 모든 과정은 이벤트 스트림으로 실시간 모니터링할 수 있습니다.

왜 중요한가

우리는 ml-intern이 현재 AI 에이전트가 가장 실질적인 가치를 낼 수 있는 영역을 매우 영리하게 파고들었다고 봅니다.

일반적인 코딩 에이전트는 모호한 요구사항과 복잡한 소프트웨어 환경 때문에 헛바퀴를 돌기 십상입니다. 반면 모델 사후 훈련은 논문과 데이터셋이라는 명확한 입력이 있고, 벤치마크 점수라는 객관적인 피드백 루프가 존재해 에이전트가 자율적으로 성과를 내기에 최적의 환경입니다.

스타트업이나 1인 개발자에게는 초급 머신러닝 연구원 한 팀을 곁에 두는 것과 다름없습니다. 자연어 프롬프트 한 줄만 던져두면 밤새 에이전트가 알아서 데이터를 모으고 작은 모델들을 실험해 아침에 결과를 보고해 주기 때문입니다.

업계 관점에서도 이는 허깅페이스의 훌륭한 생태계 방어 전략입니다. 빅테크처럼 천문학적인 자본을 들여 초대형 프론티어 모델을 만드는 대신, 자신들이 보유한 모델 허브, 논문 아카이브, 데이터셋, 인프라를 에이전트 전용 작업실로 엮어냈습니다.

물론 한계는 뚜렷합니다. 어디까지나 이미 발표된 연구 논문의 기법을 조합하고 최적화하는 데 탁월할 뿐, 아예 새로운 모델 아키텍처를 창안해 내는 수준은 아닙니다. 하지만 연구자들을 매일 괴롭히던 지루한 반복 실험을 덜어주는 도구로서의 가치는 지금 당장 써보기에도 충분합니다.