사카나 AI, 실시간 가중치 조절 시스템 'Transformer²' 공개
사카나 AI가 작업 환경에 맞춰 모델 가중치를 실시간으로 재구성하는 Transformer² 프레임워크를 발표했다. 특이값 미세조정과 강화학습을 결합해 LoRA보다 적은 매개변수로 수학과 코딩 전반에서 더 뛰어난 성능을 보였다.
Sakana AI
최신 소식 보기
사카나 AI, 트랜스포머용 범용 메모리 모델 공개…선택적 망각으로 효율 극대화
사카나 AI는 인간의 기억 메커니즘을 모방해 불필요한 토큰을 능동적으로 잊는 '신경 주의집중 메모리 모델(NAMM)'을 발표했다. 진화 알고리즘으로 최적화되어 메모리 사용량을 줄이면서 장문 추론 성능을 높이며, 추가 학습 없이 비전과 강화학습 모델로도 제로샷 전이가 가능하다.
사카나 AI, 파인튜닝 없이 다중 스킬 모델 결합하는 'CycleQD' 공개
사카나 AI 연구진이 고비용 파인튜닝 없이 여러 전문 소형 모델의 능력을 통합하는 진화 알고리즘 기반 프레임워크 'CycleQD'를 공개했다. 모델 병합과 SVD 변이 기술을 활용해 라마 3 8B 모델 테스트에서 기존 파인튜닝 및 병합 방식보다 우수한 성능을 기록했다.
Sakana AI, 논문 작성 전 과정을 15달러에 전자동 수행하는 'The AI Scientist' 공개
Sakana AI가 옥스퍼드대 등과 공동으로 완전 자동화된 과학 연구 시스템 'The AI Scientist'를 공개했다. 아이디어 발굴부터 코드 실행, 결과 시각화, LaTeX 논문 작성 및 동료 평가까지 전 과정을 자율 수행하며, 논문 한 편당 약 15달러 수준으로 GitHub에 오픈소스로 배포됐다.
사카나 AI, 일본 전통 우키요에 특화 이미지 생성 AI 모델 공개
사카나 AI가 일본 전통 우키요에 화풍에 특화된 이미지 생성 모델 'Evo-Ukiyoe'와 채색 모델 'Evo-Nishikie'를 공개했다. 리츠메이칸 대학교의 우키요에 소장품 2만 4,000여 점을 학습해 텍스트 기반 판화 생성과 흑백 삽화 채색을 지원한다. 현재 허깅페이스에 아파치 2.0 라이선스로 오픈소스로 배포되어 있다.