문샷 AI, ‘AttnRes’ 공개: 고정 잔차 연결을 어텐션으로 대체해 추론 성능 향상
문샷 AI가 트랜스포머의 기존 고정 잔차 연결을 동적 어텐션 집계로 대체하는 ‘AttnRes’를 발표했다. 깊은 레이어에서도 초기 표현을 선택적으로 참조해 표현 희석 문제를 해결한다. 연산 오버헤드를 줄인 블록 형태는 1.25배 연산량을 투입한 베이스라인 수준의 성능을 내며 다단계 추론과 코딩 능력을 크게 끌어올렸다.
문샷 AI가 트랜스포머의 기존 고정 잔차 연결을 동적 어텐션 집계로 대체하는 ‘AttnRes’를 발표했다. 깊은 레이어에서도 초기 표현을 선택적으로 참조해 표현 희석 문제를 해결한다. 연산 오버헤드를 줄인 블록 형태는 1.25배 연산량을 투입한 베이스라인 수준의 성능을 내며 다단계 추론과 코딩 능력을 크게 끌어올렸다.