매니페스트 AI, Brumby-14B 공개: 어텐션 버리고 4000달러로 Qwen3 재학습

2017년 구글의 기념비적인 논문으로 시작된 트랜스포머의 어텐션 메커니즘은 AI 시대를 열었지만, 문맥이 길어질수록 연산량과 메모리가 기하급수적으로 폭증하는 한계를 안고 있습니다.

AI 스타트업 매니페스트 AI가 이 고질적인 병목에 칼을 댔습니다. 11월 4일 보도에 따르면, 이들은 대표적인 오픈소스 모델 Qwen3-14B-Base에서 어텐션 레이어를 완전히 들어낸 신규 모델 'Brumby-14B-Base'를 선보였습니다.

어텐션을 대체한 핵심 기술은 '파워 리텐션(Power Retention)'이라 불리는 순환형 아키텍처입니다.

모든 토큰 대조 대신 메모리 행렬 업데이트

기존 트랜스포머는 모든 토큰이 이전의 모든 토큰과 유사도를 계산하는 방식을 취합니다. 이 때문에 시퀀스 길이가 2배로 늘어나면 연산 및 메모리 비용은 대략 4배로 뜁니다.

파워 리텐션은 Q, K, V 입력값은 그대로 유지하되, 전체 토큰 간 비교 대신 순환 상태 업데이트 방식을 사용합니다.

각 레이어가 메모리 행렬을 유지하며 새 토큰이 들어올 때마다 게이팅 신호에 맞춰 고정된 크기의 상태를 갱신합니다. 이는 RNN과 유사한 구조로, 문맥이 1000 토큰이든 100만 토큰이든 토큰당 처리 비용이 항상 일정하게 유지됩니다.

여기에 입력값의 텐서 거듭제곱을 활용해 과거와 현재 토큰 사이의 고차원 의존성을 유지하도록 설계함으로써 어텐션 특유의 표현력도 놓치지 않았습니다.

4000달러 재학습의 놀라움과 한계

업계를 놀라게 한 또 다른 대목은 바로 비용입니다. 매니페스트 AI는 엔비디아 H100 GPU 32대로 단 60시간 동안 학습을 진행했으며, 들어간 비용은 약 4000달러에 불과했습니다.

학습 시작 3000 스텝 만에 기존 Qwen3 베이스라인의 손실값에 도달했고, 각종 추론 및 이해 벤치마크에서 Qwen3-14B나 GLM-4.5-Air와 대등한 성능을 기록했습니다.

하지만 이것이 트랜스포머의 종말을 뜻하는 것은 아닙니다.

매니페스트 AI 창업자 제이콥 벅맨은 4000달러라는 비용은 기존 트랜스포머 모델의 사전학습 가중치를 활용했기 때문에 가능했던 수치이며, 밑바닥부터 새로 학습했다면 이 가격으로는 불가능했을 것이라고 선을 그었습니다.

다만 그는 이전 세대 가중치를 지렛대 삼아 새로운 패러다임으로 전환할 수 있음을 보여준 것 자체가 새 아키텍처 채택을 가속하는 강력한 동력이 될 것이라고 덧붙였습니다.

왜 중요한가

초장문 컨텍스트를 다루는 개발자에게 Brumby-14B는 매우 매력적인 대안입니다. 추론 엔진 최적화가 뒷받침된다면 14B급 추론 성능을 유지하면서도 긴 문맥 처리 시 발생하는 메모리 병목과 인프라 비용을 대폭 낮출 수 있습니다.

산업적 측면에서는 새로운 신경망 아키텍처를 도입할 때 수백억 원의 초기 사전학습 비용을 들일 필요가 없음을 증명했습니다. 기존 오픈소스 가중치를 이식해 저비용으로 아키텍처를 갈아끼우는 방식은 향후 비(非)트랜스포머 연구의 진입 장벽을 크게 낮출 것입니다.

우리는 이번 시도가 매우 영리한 지름길을 개척했다고 봅니다. 다만 Brumby는 여전히 Qwen3의 지식 표현에 기생하고 있는 형태이며, 파워 리텐션이 처음부터 스스로 거대 지식을 학습할 수 있는지는 아직 검증되지 않았습니다. 실제 복잡한 장문 추론 현장에서 어텐션 수준의 회상 능력을 온전히 유지할지는 커뮤니티의 추가 검증을 지켜볼 필요가 있습니다.