사카나 AI, 파인튜닝 없이 다중 스킬 모델 결합하는 'CycleQD' 공개
사카나 AI 연구진이 고비용 파인튜닝 없이 여러 전문 소형 모델의 능력을 통합하는 진화 알고리즘 기반 프레임워크 'CycleQD'를 공개했다. 모델 병합과 SVD 변이 기술을 활용해 라마 3 8B 모델 테스트에서 기존 파인튜닝 및 병합 방식보다 우수한 성능을 기록했다.
사카나 AI 연구진이 고비용 파인튜닝 없이 여러 전문 소형 모델의 능력을 통합하는 진화 알고리즘 기반 프레임워크 'CycleQD'를 공개했다. 모델 병합과 SVD 변이 기술을 활용해 라마 3 8B 모델 테스트에서 기존 파인튜닝 및 병합 방식보다 우수한 성능을 기록했다.