The Verge의 AI 전력 소비 분석: 빅테크 탄소 초과와 테크 업계 딜레마
The Verge의 팟캐스트 디코더가 AI 확산이 기후 위기에 미치는 영향을 짚었습니다. 마이크로소프트와 구글 등 빅테크가 데이터센터 확장으로 탄소 배출 목표를 초과하고 있지만, 고전력 소비는 스트리밍과 게임 등 테크 전반의 문제입니다. 핵심은 AI가 쓰는 전력이 그만한 가치가 있는지 따져보는 일입니다.
Nvidia H100
엔비디아, 메타 '라마 3' 전 플랫폼 추론 최적화 지원
엔비디아가 메타의 최신 대규모 언어 모델 '라마 3'를 지원하기 위해 전 플랫폼 추론 최적화를 발표했다. H200 GPU 한 장으로 70B 모델 구동 시 초당 약 3,000토큰을 생성해 300명의 동시 사용자를 처리하며, 8B 모델은 RTX PC와 젯슨 오린 등 엣지 기기까지 지원된다.
젠슨 황 "AI의 두 번째 거대한 물결 온다": 각국 주권 AI와 산업 적용이 핵심
NVIDIA CEO 젠슨 황은 프랑스 스케일웨이 행사에서 국가별 '소버린 AI' 구축과 전 산업 확산이 AI의 2차 파고를 이끌고 있다고 밝혔다. 이에 맞춰 스케일웨이는 유럽 규제에 맞춘 H100 GPU 1,016장 규모의 슈퍼컴퓨터 '나부' 가동을 시작했다.
엔비디아 TensorRT-LLM 오픈소스 공개: H100 추론 최대 8배 향상
엔비디아가 거대언어모델 추론을 가속하는 오픈소스 라이브러리 TensorRT-LLM을 공개했다. 인플라이트 배칭과 FP8 양자화를 적용해 H100 GPU 환경에서 A100 대비 최대 8배의 처리량과 라마 2 4.6배 속도 향상을 기록했다. 개발자는 C++이나 CUDA 없이 파이썬 API로 병렬 처리를 제어하며 데이터센터 비용을 크게 절감할 수 있다.
구글 클라우드, 엔비디아 H100 탑재 A3 인스턴스 정식 출시
구글 클라우드가 엔비디아 H100 GPU 기반의 A3 인스턴스를 정식 출시했다. 양사는 거대언어모델 학습용 PaxML 프레임워크를 엔비디아 GPU에 맞게 최적화하고 NGC에 등록하는 등 긴밀한 기술 협력을 이어간다.