AMD, 첫 소형 언어 모델 'AMD-135M' 공개: 투기적 디코딩으로 추론 가속
AMD가 첫 소형 언어 모델 시리즈인 AMD-135M을 공개했다. Llama 계열 기반의 기본형과 코딩 특화형으로 나뉘며, AMD Instinct MI250 노드에서 학습됐다. 대형 모델의 추론 속도를 높여주는 투기적 디코딩 기술을 전면에 내세워 기업용 프라이빗 배포 시장을 공략한다.
AMD가 첫 소형 언어 모델 시리즈인 AMD-135M을 공개했다. Llama 계열 기반의 기본형과 코딩 특화형으로 나뉘며, AMD Instinct MI250 노드에서 학습됐다. 대형 모델의 추론 속도를 높여주는 투기적 디코딩 기술을 전면에 내세워 기업용 프라이빗 배포 시장을 공략한다.
AMD가 TensorStack과 협력해 로컬 AI 제품군인 'Amuse 2.0' 베타를 선보였다. 복잡한 명령어나 종속성 설치 없이 단일 실행 파일과 'EZ 모드'로 손쉽게 이미지를 생성할 수 있다. 특히 XDNA 초해상도 기술을 지원해 지원되는 Ryzen 및 Radeon 하드웨어에서 2배 큰 해상도로 이미지를 출력할 수 있다.
MLCommons가 발표한 최신 MLPerf 추론 벤치마크에서 엔비디아가 H200과 TensorRT-LLM 최적화로 전 부문을 휩쓸었다. 현재 추론 작업은 엔비디아 데이터센터 매출의 약 40%를 차지한다. 인텔은 가우디2와 제온 결과를 제출한 반면 AMD는 이번에도 벤치마크에 참여하지 않았다.
마이크로소프트는 엔비디아, AMD, 인텔과 협력해 PC 게임의 AI 초해상도 기술을 통합하는 'DirectSR' API를 발표했다. 개발자는 단일 코드 경로로 DLSS, FSR, XeSS를 모두 활성화할 수 있다. 조만간 Agility SDK 프리뷰 버전으로 공개될 예정이다.
보안 기업 트레일 오브 비츠가 애플, AMD, 퀄컴 GPU에서 '레프트오버로컬스' 취약점을 공개했다. 공격자가 로컬 GPU 메모리에서 최대 180MB의 데이터를 탈취해 LLM 질문과 답변, 모델 가중치를 엿볼 수 있다. 애플 M3와 A17에는 패치가 적용됐으나 구형 기기는 여전히 위험에 노출돼 있다.
AMD가 LLM 학습 및 추론을 위한 Instinct MI300X 가속기와 MI300A APU를 공개했다. Llama 2 추론에서 엔비디아 H100 대비 1.4배 빠른 성능을 앞세웠으며, 마이크로소프트와 메타가 도입을 확정했다. NPU를 탑재한 노트북용 라이젠 8040 시리즈도 함께 발표됐다.
AMD가 오픈소스 AI 소프트웨어 전문 기업 Nod.ai를 인수한다고 발표했다. SHARK 및 Torch-MLIR 주요 기여자인 Nod.ai의 컴파일러 기술을 흡수해 AMD 칩 전반의 AI 모델 최적화와 배포를 가속화하고, 오픈 소프트웨어 생태계를 대폭 강화한다는 계획이다.
미국 정부가 엔비디아와 AMD의 첨단 AI 칩 수출 통제를 중동 일부 국가로 확대해 A100 및 H100 제품 공급 시 추가 라이선스를 취득하도록 했다. 양사는 이번 조치가 당장 매출에 중대한 영향을 주지는 않는다고 밝혔으나, AI 연산 자원에 대한 미국의 기술 통제망이 더 넓어지고 있다.
엔비디아가 발표한 2분기 실적에서 매출 135억 달러, 순이익 61억 8800만 달러(전년 동기 대비 843% 증가)를 기록했다. 생성형 AI 칩 수요 폭증으로 데이터센터 매출만 103억 2000만 달러에 달했다. 다음 분기 매출 전망도 160억 달러로 제시하며 독주를 이어가고 있다.
AMD는 데이터센터 및 AI 기술 프리미어 행사를 열고 차세대 서버 제품군을 공개했다. 회사는 AI를 최우선 전략으로 내걸고, 엔비디아의 호퍼 아키텍처에 맞설 핵심 무기로 멀티 다이 가속기 'Instinct MI300'을 전면에 내세웠다.
AMD가 허깅페이스의 하드웨어 파트너 프로그램에 합류했다. 트랜스포머 라이브러리에 AMD ROCm SDK를 통합해 인스팅트 GPU와 라이젠, 에픽 CPU 전반에서 모델 학습과 추론 속도를 최적화한다. 엔비디아 중심의 AI 칩 시장에서 개발자들에게 가성비 높은 새로운 하드웨어 선택지를 제공할 전망이다.
블룸버그 통신에 따르면 마이크로소프트는 AMD의 GPU가 AI 작업을 더 원활히 처리할 수 있도록 엔지니어링 리소스를 투입해 협력 중이다. 엔비디아가 장악한 하드웨어 시장에 경쟁을 유도해 천문학적인 서버 비용을 낮추려는 전략이다. 다만 마이크로소프트는 자체 개발 칩인 아테나 프로젝트에 AMD가 참여했다는 보도는 전면 부인했다.
외신에 따르면 엔비디아가 AI를 활용해 지포스 드라이버의 하드웨어 활용도와 처리량을 최적화하는 방안을 준비 중인 것으로 알려졌다. 유출 소식통은 평균 10%, 일부 타이틀에서 최대 30%의 프레임 향상이 예상되며 이르면 1분기 내 적용될 수 있다고 전했다.
AMD가 노트북용 프로세서인 라이젠 7040 시리즈를 발표했다. Zen 4 아키텍처 기반의 이번 제품은 x86 칩 최초로 '라이젠 AI' 전용 하드웨어를 통합해 애플 M2 대비 우수한 성능과 효율을 내세웠다. 탑재 노트북은 3월 출시될 예정이다.