사카나 AI, 실시간 가중치 조절 시스템 'Transformer²' 공개

문어가 피부색을 바꿔 산호초 사이에 숨고, 인간의 뇌가 손상된 신경망을 스스로 재구성해 기능을 회복하듯 생명체는 환경에 끊임없이 적응합니다. 반면 현재의 대규모 언어 모델은 한 번 학습을 마치면 가중치가 단단하게 고정되어, 수학 문제든 코딩이든 똑같은 두뇌 상태로 풀어내야 했습니다.

일본 도쿄의 AI 스타트업 사카나 AI가 이 고정관념을 깨는 연구를 공개했습니다. 모델이 작업의 성격을 스스로 파악하고, 추론 시점에 자신의 가중치를 실시간으로 바꾸는 자기 적응형 시스템 Transformer²를 발표했습니다.

인공두뇌의 외과 수술과 신호 조절기

언어 모델의 지식은 거대한 가중치 행렬 안에 들어 있습니다. 사카나 AI는 이 행렬을 세밀하게 분해하기 위해 특이값 분해라는 수학적 기법을 도입했습니다. 모델이라는 두뇌를 열고 수학 연산, 언어 이해, 논리 추론을 담당하는 개별 신경 통로를 분리해내는 일종의 외과 수술입니다.

분해를 마친 뒤에는 강화학습을 활용한 특이값 미세조정 기법을 적용했습니다. 각 작업에 맞춰 특정 성분의 신호를 키우거나 줄이는 z-벡터라는 초소형 조절 장치를 학습시키는 방식입니다.

수학 문제를 풀 때는 수학 관련 성분의 출력을 최대로 높이고 관계없는 언어 이해 성분은 줄입니다. 강화학습을 기반으로 학습하기 때문에 정답 데이터가 완벽하지 않아도 최적화가 가능하며, 기존 LoRA 기법보다 훨씬 적은 수의 파라미터만 추가됩니다.

두 번의 추론과 예상을 깬 능력의 조합

실제 사용 환경에서 Transformer²는 2단계 추론 과정을 거칩니다. 첫 번째 패스에서 입력된 프롬프트나 작업의 유형을 분석하고, 두 번째 패스에서 필요한 z-벡터를 결합해 가중치를 조절한 뒤 최종 답변을 생성합니다.

작업을 감지하는 방식은 프롬프트 분류, 전용 분류기 활용, 몇 가지 예시를 바탕으로 여러 벡터를 가중 보간해 섞는 퓨샷 적응 등 세 가지입니다.

사카나 AI가 Llama와 Mistral 모델을 바탕으로 수학, 코딩, 추론, 시각적 질의응답 벤치마크를 테스트한 결과, GSM8K 등 주요 텍스트 평가에서 LoRA를 뛰어넘는 성능을 기록했습니다.

흥미로운 점은 고난도 수학 과제인 MATH 벤치마크를 풀 때 나타났습니다. 모델은 수학 전용 벡터에만 의존하지 않고, 코딩과 논리 추론 벡터를 스스로 융합해 문제를 해결했습니다. 심지어 Llama에서 학습시킨 벡터를 아키텍처가 비슷한 Mistral에 그대로 이식했을 때도 대부분의 작업에서 성능 향상이 관찰되었습니다.

왜 중요한가

개발자 입장에서 Transformer²는 복잡한 파인튜닝 비용을 크게 낮출 수 있는 실질적인 대안이라고 우리는 생각합니다. 여러 업무를 처리하기 위해 무거운 LoRA 어댑터를 수시로 갈아 끼우며 메모리를 낭비하는 대신, 아주 작은 크기의 벡터만으로 모델의 전문성을 유연하게 전환할 수 있기 때문입니다.

산업 전반으로 보면, 파라미터 수만 무작정 늘려 고정된 지식을 채워 넣던 거대 모델 경쟁을 테스트 시점의 동적 적응 경쟁으로 전환시키는 계기가 될 수 있습니다. 작은 모델이라도 작업 성격에 맞게 내부 구조를 실시간으로 바꿀 수 있다면 추론 효율 면에서 훨씬 유리합니다.

다만 속도 지연이라는 뚜렷한 한계도 안고 있습니다. 작업을 먼저 판단하고 가중치를 바꾼 뒤 출력을 내는 2단계 구조는, 즉각적인 응답이 필수적인 실시간 대화형 서비스에서 체감 지연 시간을 늘릴 수밖에 없습니다. 또한 Llama와 Mistral처럼 구조가 유사한 모델 사이에서 확인된 지식 전이 효과가 완전히 다른 아키텍처에서도 유지될지는 앞으로 검증해야 할 과제입니다.