사카나 AI, 실시간 가중치 조절 시스템 'Transformer²' 공개
사카나 AI가 작업 환경에 맞춰 모델 가중치를 실시간으로 재구성하는 Transformer² 프레임워크를 발표했다. 특이값 미세조정과 강화학습을 결합해 LoRA보다 적은 매개변수로 수학과 코딩 전반에서 더 뛰어난 성능을 보였다.
사카나 AI가 작업 환경에 맞춰 모델 가중치를 실시간으로 재구성하는 Transformer² 프레임워크를 발표했다. 특이값 미세조정과 강화학습을 결합해 LoRA보다 적은 매개변수로 수학과 코딩 전반에서 더 뛰어난 성능을 보였다.