엔비디아, 메타 '라마 3' 전 플랫폼 추론 최적화 지원
엔비디아가 메타의 최신 대규모 언어 모델 '라마 3'를 지원하기 위해 전 플랫폼 추론 최적화를 발표했다. H200 GPU 한 장으로 70B 모델 구동 시 초당 약 3,000토큰을 생성해 300명의 동시 사용자를 처리하며, 8B 모델은 RTX PC와 젯슨 오린 등 엣지 기기까지 지원된다.
NVIDIA H200
엔비디아, HBM3e 탑재 차세대 'H200' GPU 공개
엔비디아가 호퍼 아키텍처 기반의 H200 텐서 코어 GPU를 공개했다. HBM3e를 최초 탑재해 141GB 메모리와 초당 4.8TB 대역폭을 제공하며 A100 대비 두 배 가까운 용량을 갖췄다. 기존 H100 시스템과 호환되며 내년 2분기 출하될 예정이다.