엔비디아, 메타 '라마 3' 전 플랫폼 추론 최적화 지원

Meta가 차세대 대규모 언어 모델인 Llama 3를 공개하자마자 NVIDIA가 클라우드, 데이터센터, 엣지, PC에 걸친 전 플랫폼 대상 추론 최적화 지원을 발표했습니다.

모델의 성능 경쟁을 넘어, 이를 얼마나 저렴하고 빠르게 서비스할 수 있는지가 생성형 AI 시장의 실질적인 승부처로 떠오른 모양새입니다.

H100 2만 4천 개로 학습, H200 단일 카드로 300명 동시 지원

NVIDIA에 따르면 Meta는 RoCE 및 Quantum-2 InfiniBand로 연결된 24,576개의 NVIDIA H100 GPU 클러스터에서 Llama 3를 학습시켰습니다. 나아가 Meta는 인프라를 H100 35만 개 수준까지 확장할 계획을 밝혔습니다.

추론 측면의 처리량도 구체적으로 공개되었습니다. 일반적인 사람의 읽기 속도는 초당 약 10토큰 수준으로, 원활한 챗봇 서비스를 위해서는 약 두 배의 속도가 필요합니다.

초기 테스트 결과, 단일 NVIDIA H200 GPU에서 Llama 3 70B 모델은 초당 약 3,000토큰을 생성했습니다. 단 한 장의 카드로 약 300명의 동시 접속 사용자를 처리할 수 있는 수준입니다.

8개의 H200으로 구성된 단일 HGX 서버를 사용할 경우 초당 24,000토큰을 뿜어내며, 2,400명 이상의 사용자를 동시에 감당할 수 있습니다.

엣지 디바이스와 1억 대 규모 RTX PC로 확장

소형 모델인 8B 버전은 엣지 및 개인용 PC 환경에도 즉시 최적화되었습니다.

로보틱스 및 엣지 장치인 Jetson AGX Orin에서는 초당 최대 40토큰, Jetson Orin Nano에서는 초당 15토큰을 기록해 로컬 상호작용 에이전트를 원활히 구동할 수 있습니다.

개발자는 ai.nvidia.com에서 표준 API 형태의 NIM 마이크로서비스로 Llama 3를 브라우저에서 바로 사용해 볼 수 있습니다. 기업은 NeMo를 통해 데이터를 파인튜닝하고, TensorRT-LLM과 Triton 서버를 통해 전 세계 1억 대 이상의 RTX PC 및 워크스테이션 환경으로 서비스를 배포할 수 있습니다.

왜 중요한가

NVIDIA는 이번 발표를 통해 학습 시장에 이어 추론 시장에서도 주도권을 놓치지 않겠다는 점을 분명히 했습니다.

HGX 서버 한 대로 70B 모델 동시 접속자 2,400명을 커버할 수 있다는 수치는, 자체 가속기나 ASIC 도입을 고민하던 기업들에게 상용 하드웨어 기반의 비용 효율성을 강하게 어필하는 요소입니다.

개발자와 기업 입장에서는 외부 API 비용을 지불하지 않고도 로컬 RTX 기기나 사내 서버에서 고성능 오픈 소스 모델을 안전하게 돌릴 수 있는 환경이 열렸습니다.

다만 NIM 마이크로서비스와 TensorRT-LLM에 대한 의존도가 높아질수록, 향후 타사 칩이나 대안 하드웨어로 전환하기 어려워지는 종속 문제는 여전히 숙제로 남을 것으로 보입니다.