AMD, 첫 소형 언어 모델 'AMD-135M' 공개: 투기적 디코딩으로 추론 가속

모두가 수천억 파라미터 크기의 거대 모델에 매달릴 때, AMD는 정반대로 1억 3500만 파라미터 크기의 초소형 모델을 내놓았습니다.

AMD가 발표한 첫 소형 언어 모델의 이름은 AMD-135M입니다. Llama 아키텍처 기반으로 제작되었으며 기업의 온프레미스 프라이빗 배포를 목표로 합니다. 최근 추진 중인 Silo AI 인수 작업은 아직 당국의 승인 절차가 남아 있어 이번 개발에는 관여하지 않은 것으로 알려졌습니다.

거대 모델의 초안을 작성하는 비서

AMD-135M의 핵심 경쟁력은 투기적 디코딩 기술에 있습니다.

보통 대형 언어 모델은 토큰을 하나씩 순차적으로 생성하느라 속도가 느립니다. 투기적 디코딩은 이 문제를 해결하기 위해 작은 초안 모델을 앞세웁니다. AMD-135M이 한 번에 여러 개의 후보 토큰을 빠르게 쏟아내면, 뒤에 있는 대형 모델이 이를 한 번에 검증하고 채택하는 방식입니다. 여러 토큰을 동시에 처리해 속도를 대폭 끌어올릴 수 있지만, 데이터 전송량이 늘어나 전력 소모가 커지는 대가가 따릅니다.

모델은 두 가지 버전으로 공개되었습니다. 기본 모델인 AMD-Llama-135M은 6700억 개의 범용 토큰으로 처음부터 학습되었으며, 8-way AMD Instinct MI250 노드 4대를 사용해 6일 만에 사전 학습을 마쳤습니다.

코딩 특화 모델인 AMD-Llama-135M-code는 여기에 200억 개의 코드 토큰을 추가해 동일한 하드웨어 환경에서 4일 동안 미세 조정을 거쳤습니다. AMD가 자체 실시한 성능 테스트에서 두 모델 모두 우수한 속도 개선을 입증했습니다.

왜 중요한가

우리는 이번 발표가 AMD의 AI 생태계 전략에서 매우 영리한 한 수가 될 수 있다고 봅니다.

사내 서버에 LLM을 직접 배포하려는 기업 고객에게 가장 큰 걸림돌은 값비싼 하드웨어 비용과 느린 추론 지연 시간입니다. 135M 크기의 초소형 모델은 GPU 메모리를 거의 차지하지 않으면서도, 기존 거대 모델의 답변 속도를 크게 높여주는 부스터 역할을 해줄 수 있습니다.

또한 AMD 입장에서는 엔비디아가 장악한 AI 하드웨어 시장에서 소프트웨어 경쟁력을 증명해야 하는 과제가 있었습니다. 자사 Instinct 가속기로 초소형 모델을 직접 사전 학습하고 투기적 디코딩까지 최적화해 보여줌으로써, 기업 고객에게 매력적인 대안을 제시한 셈입니다.

물론 한계도 명확합니다. 작은 모델이 엉뚱한 토큰을 계속 내놓으면 대형 모델의 검증 작업만 늘어나 전력과 시간만 낭비하게 됩니다. 게다가 이번 성능 수치가 이전 세대인 MI250에서 측정된 만큼, 최신 MI300X나 향후 출시될 MI325X 환경에서 실제 기업들이 어느 정도의 체감 효율을 얻을 수 있을지가 성패를 가를 것으로 보입니다.