사카나 AI, 텍스트 프롬프트로 LoRA 어댑터 생성하는 'Text-to-LoRA' 공개

Text-to-LoRA(T2L)는 작업에 대한 자연어 설명만으로 대규모 언어 모델의 LoRA 어댑터를 즉시 생성해 주는 하이퍼네트워크입니다. 방대한 데이터셋을 모아 오랜 시간 파인튜닝을 돌릴 필요 없이, 텍스트 프롬프트를 주면 단 한 번의 연산으로 맞춤형 가중치를 만들어 냅니다.

이 연구는 ICML 2025에 채택되었으며, 논문과 코드가 깃허브를 통해 오픈소스로 공개되었습니다.

작동 원리와 특징

파운데이션 모델을 특정 작업에 맞게 개조하려면 대규모 데이터 수집과 고비용의 미세조정 과정이 필수적이었습니다.

Text-to-LoRA는 이 과정을 메타러닝으로 우회합니다. 원하는 작업의 설명을 프롬프트로 입력받아 해당 작업에 적합한 LoRA 가중치를 직접 예측해 출력하는 하이퍼네트워크를 구축했습니다.

실험 결과, T2L은 기존에 튜닝된 수백 개의 LoRA 어댑터를 단일 네트워크 안에 손실 압축 형태로 인코딩해 담아낼 수 있었습니다. 압축 과정에서 일부 손실이 발생하지만, 실제 작업 성능은 기존 전용 어댑터 수준을 유지합니다.

특히 주목할 점은 일반화 능력입니다. 학습 데이터에 전혀 없었던 완전히 새로운 작업이라도 자연어로 작업 내용을 설명해 주면 쓸 만한 어댑터를 즉시 만들어 냅니다.

시작하는 방법

사카나 AI는 깃허브 저장소(SakanaAI/Text-to-Lora)에 전체 코드를 공개했으며, arXiv(2506.06105)에서 논문 전문을 열람할 수 있습니다.

별도의 GPU 클러스터를 장시간 대여할 필요 없이, 오픈소스 코드를 받아 원하는 작업 설명을 프롬프트로 넘기면 바로 어댑터 가중치를 추출해 볼 수 있습니다.

왜 중요한가

미세조정은 데이터 엔지니어링 역량과 컴퓨팅 예산이 없으면 시도하기 힘든 영역이었습니다. Text-to-LoRA는 자연어 프롬프트 한 줄로 모델 가중치를 내려받는 직관적인 대안을 제시합니다.

우리는 이 기술이 실시간 동적 적응 측면에서 큰 잠재력을 지녔다고 봅니다. 가중치 생성 속도가 충분히 빠르다면, AI 에이전트가 새로운 문제를 마주할 때마다 즉석에서 전용 어댑터를 만들어 장착하는 워크플로가 가능해집니다. 극단적으로 복잡한 전문 도메인에서도 기존 파인튜닝만큼의 품질을 낼 수 있을지는 커뮤니티 검증이 더 필요하지만, 모델 커스터마이징의 진입 장벽을 대폭 낮춘 시도임은 분명합니다.