어댑션, 모델 훈련 전 과정을 자동화하는 '오토사이언티스트' 공개

전 세계에서 프론티어 AI 모델을 제대로 학습시키고 미세조정할 수 있는 전문가는 1000명도 채 되지 않는다. 소수 핵심 연구소의 연구원들이 공개되지 않은 경험적 노하우를 독점해 왔고, 나머지 대다수는 프롬프트 엔지니어링에 의존해야 했다.

전 코히어 AI 연구 부사장 사라 후커가 공동 창업한 어댑션은 5월 13일, 모델 훈련과 정렬의 전체 연구 루프를 자동으로 수행하는 신규 도구 '오토사이언티스트'를 공개했다.

연구원의 경험에 의존하던 미세조정의 자동화

대형 연구소 밖에서 모델 미세조정을 시도하면 대부분 실패로 끝난다. 기존 지식을 잃어버리는 치명적 망각, 작은 데이터셋에서 발생하는 과적합, 상충하는 학습 신호가 주된 원인이다.

오토사이언티스트는 데이터와 학습 레시피를 동시에 최적화하는 방식으로 이 문제를 해결한다. 자사의 데이터 관리 제품인 어댑티브 데이터를 결합해, 모델이 설정된 목표에 도달할 때까지 데이터와 하이퍼파라미터를 스스로 수정해 나간다.

어댑션은 이를 통해 머신러닝 엔지니어가 몇 주 동안 매달려야 했던 실험 과정을 반나절 만에 끝낼 수 있다고 설명했다.

연구원과의 맞대결에서 승률 64% 달성

사내 AI 연구진과의 직접 비교 실험에서 오토사이언티스트는 인간 연구원을 앞섰다. 연구원이 직접 설정을 맞췄을 때 48%였던 승률은 오토사이언티스트를 적용하자 64%로 뛰었다.

전체 실험에 걸쳐 기록한 평균 성능 역시 연구원 설정 대비 35% 높았다. 이번 평가는 5000개에서 10만 개 규모의 데이터셋을 활용해 투게더 AI에서 호스팅되는 모델들을 대상으로 8개 분야에 걸쳐 진행됐다.

사라 후커 CEO는 테크크런치 인터뷰에서 연구소 외부에서도 프론티어급 모델을 학습시킬 수 있는 길을 열었다고 밝혔다. 오토사이언티스트는 공개 후 첫 30일 동안 무료로 이용할 수 있다.

왜 중요한가

고비용 상용 API에 의존하던 개발자와 기업에게는 비용 절감의 기회다. 지연 시간과 비용을 줄이기 위해 소형 모델을 미세조정하고 싶어도 전문 머신러닝 엔지니어를 둘 수 없었던 조직이라면 30일 무료 기간 동안 자체 데이터로 실효성을 검증해볼 만하다.

업계 차원에서는 소수 연구소에 갇혀 있던 학습 노하우의 장벽이 낮아지는 계기가 될 수 있다. 모델을 깎아내는 과학적 튜닝 과정이 소프트웨어로 자동화되면, 모델 개발 경쟁은 튜닝 기술 자체보다 목표 정의와 데이터 확보 싸움으로 옮겨가게 된다.

데이터와 학습 레시피를 따로 분리하지 않고 동시에 최적화하도록 설계한 점은 영리한 접근으로 보인다. 다만 맞춤형 작업에 최적화된 시스템 특성상 SWE-Bench 같은 범용 벤치마크가 아닌 사내 자체 평가 기준으로 검증되었다는 점은 감안해야 한다. 정제되지 않은 실제 기업 환경의 거친 데이터셋에서도 35%의 성능 향상이 재현될지는 실제 사용자들의 테스트를 통해 확인될 문제다.