사카나 AI, 파인튜닝 없이 다중 스킬 모델 결합하는 'CycleQD' 공개

코딩도 잘하고 데이터베이스도 다루며 운영체제 명령까지 능숙하게 수행하는 멀티 스킬 언어 모델을 만들려면 어떻게 해야 할까요? 지금까지의 업계 상식은 모든 데이터를 한데 모아 막대한 비용과 시간을 들여 파인튜닝하는 것이었습니다.

하지만 데이터 간 균형을 맞추기 어렵고 특정 능력이 다른 능력을 덮어버리는 문제가 빈번했습니다. 도쿄 기반의 AI 스타트업 사카나 AI(Sakana AI)가 이 문제를 해결할 새로운 프레임워크인 'CycleQD'를 공개했습니다.

모델의 덩치를 무작정 키우는 대신, 진화 알고리즘을 사용해 서로 다른 전문성을 지닌 모델들을 교배하고 변이시켜 스스로 발전하도록 만드는 방식입니다.

교차와 변이로 만드는 모델 생태계

CycleQD의 핵심은 진화 컴퓨팅 기법 중 하나인 '품질 다양성(Quality Diversity, QD)'을 언어 모델의 사후 학습에 적용한 것입니다.

먼저 코딩, 데이터베이스, 운영체제 조작 등 각자 한 가지 작업에 특화된 소형 전문가 모델들을 준비합니다.

이후 두 가지 진화 연산인 '교차(Crossover)'와 '변이(Mutation)'를 거칩니다. 교차 연산은 두 부모 모델의 매개변수를 직접 합치는 모델 병합(Model Merging) 방식을 사용해, 추가 학습 없이도 빠르고 저렴하게 복합 모델을 만들어냅니다.

변이 연산에는 특이값 분해(SVD)라는 수학적 기법을 도입했습니다. 모델의 가중치를 세부 하위 스킬 단위로 분해한 뒤 이를 미세 조정하는 방식으로, 부모 모델에는 없던 새로운 역량을 탐색하면서도 과적합 위험을 크게 줄였습니다.

각 세대마다 평가 기준이 되는 스킬을 순환시키는 것도 특징입니다. 이번 세대에서 코딩 능력을 집중 평가했다면 다음 세대에서는 데이터베이스 능력을 중심에 두어, 특정 능력이 도태되지 않고 골고루 성장하도록 유도했습니다.

전통적인 파인튜닝을 뛰어넘은 성능

연구진이 Llama 3-8B 기반의 전문가 모델들을 대상으로 실험한 결과, CycleQD는 기존의 모델 병합 방식은 물론 전통적인 파인튜닝보다 뛰어난 성능을 기록했습니다.

주목할 점은 모든 데이터를 합쳐 기존 방식으로 파인튜닝한 모델이 훨씬 많은 시간과 비용을 들였음에도 단일 스킬 전문가 모델보다 아주 근소하게 나은 수준에 그쳤다는 사실입니다. 반면 CycleQD는 적은 자원으로 다양한 성능 프로파일을 가진 수백 개의 모델 군집을 성공적으로 생성해냈습니다.

사카나 AI 연구진은 이 방식이 AI가 시간을 두고 끊임없이 새로운 지식을 축적하는 '평생 학습(Lifelong Learning)'의 기반이 될 수 있다고 설명합니다.

왜 중요한가

자체 소형 모델을 운영하는 개발자와 엔터프라이즈 환경에 매우 반가운 기술입니다. 새로운 업무 영역이 생길 때마다 막대한 클라우드 비용을 써가며 전체 모델을 다시 학습시킬 필요 없이, 전문 모델들을 레고 블록처럼 결합해 목적에 맞는 에이전트를 저비용으로 찍어낼 수 있기 때문입니다.

업계 관점에서는 모든 것을 다 잘하는 단일 초대형 모델에만 매달리던 흐름에 균열을 내는 시도입니다. 거대 모델의 비효율성과 망각 현상을 극복하기 위한 대안으로, 소형 특화 모델들의 '군집 진화'가 충분히 경쟁력 있음을 데이터로 증명해 보였습니다.

우리가 보기에 SVD를 통해 모델 파라미터를 구조적으로 분해하고 변이를 준 발상은 매우 영리합니다. 다만 코딩이나 터미널 제어처럼 도메인이 인접한 분야가 아니라, 추론이나 감성 분석처럼 성격이 판이한 영역까지 확장했을 때도 파라미터 충돌 없이 진화가 이어질 수 있을지는 검증이 더 필요해 보입니다.