매니페스트 AI, Brumby-14B 공개: 어텐션 버리고 4000달러로 Qwen3 재학습
보도에 따르면, AI 스타트업 매니페스트 AI가 트랜스포머의 어텐션 메커니즘을 완전히 제거한 모델 'Brumby-14B-Base'를 공개했습니다. 파워 리텐션 구조를 도입해 컨텍스트 길이에 상관없이 토큰당 연산 비용을 일정하게 유지하며, 4000달러로 Qwen3 가중치를 재학습해 동등한 성능을 냈습니다. 단, 기존 가중치에 의존하는 한계가 있습니다.
보도에 따르면, AI 스타트업 매니페스트 AI가 트랜스포머의 어텐션 메커니즘을 완전히 제거한 모델 'Brumby-14B-Base'를 공개했습니다. 파워 리텐션 구조를 도입해 컨텍스트 길이에 상관없이 토큰당 연산 비용을 일정하게 유지하며, 4000달러로 Qwen3 가중치를 재학습해 동등한 성능을 냈습니다. 단, 기존 가중치에 의존하는 한계가 있습니다.