미 검찰, 엔비디아 AI 칩 대중 밀수출 혐의로 4명 기소
미국 연방 검찰은 엔비디아 H100 및 H200 AI 칩 등을 중국으로 불법 밀수출한 혐의로 4명을 기소했다. 피의자들은 가짜 부동산 회사를 세우고 서류를 위조해 수출 통제를 우회했으며, 대금은 중국 계좌에서 송금받은 것으로 조사됐다.
H100
엔비디아 H100 우주로… 궤도 데이터센터 첫 시험 가동
엔비디아의 H100 GPU가 스타트업 스타클라우드의 위성에 탑재되어 궤도 데이터센터 시험을 위해 우주로 발사되었다. 기존 우주 컴퓨터보다 100배 강력한 성능으로 구글 대규모 언어모델 실행 및 관측 데이터 처리를 맡는다. 지상의 막대한 전력과 냉각수 소모 문제를 우주의 무한한 태양광과 환경으로 해결하겠다는 구상이다.
앤트로픽, 미국 정부에 AI 칩 수출 규제 강화 건의
앤트로픽은 미국 상무부의 AI 확산 규칙에 대한 의견서를 제출하고 첨단 칩 수출 통제를 더욱 강화할 것을 촉구했다. 현재 2단계 국가에 허용된 무면허 한도(엔비디아 H100 약 1700장 규모)를 낮춰 밀수 우회로를 차단하고 단속 예산을 늘릴 것을 요구했다.
화웨이, 엔비디아 H100 대항마 AI 칩 '어센드 910D' 개발 착수
외신에 따르면 화웨이가 엔비디아 H100에 맞설 차세대 AI 칩 '어센드 910D'를 개발 중이며 테스트 파트너를 찾고 있다. 미국의 수출 통제가 강화되는 상황에서 이 칩이 완성되면 중국 내 AI 연산 인프라 공백을 메우는 핵심 대안이 될 수 있다.
머스크의 xAI, 액체냉각 H100 10만 장 슈퍼클러스터 가동
일론 머스크는 xAI의 멤피스 슈퍼클러스터에서 차세대 모델 훈련을 시작했다고 밝혔다. 액체냉각 방식의 엔비디아 H100 10만 장을 단일 RDMA 네트워크로 연결했다. 머스크는 12월까지 세계 최강 AI를 선보이겠다는 목표를 세웠으나, 100메가와트 전력 계약은 아직 미체결 상태다.
인텔 가우디 3 공개: 엔비디아 H100 대비 최대 1.7배 빠르다 주장
인텔이 Vision 2024 행사에서 엔터프라이즈용 AI 칩 '가우디 3'를 발표했다. TSMC 5nm 공정과 128GB HBM2e를 탑재해 라마(LLaMA) 등 주요 LLM에서 엔비디아 H100보다 최대 1.7배 빠르고 전력 효율은 2.3배 높다고 주장했다. 공랭식 모델은 3분기, 수랭식은 4분기에 정식 출시된다.
MLPerf 추론 벤치마크 공개: 엔비디아 H200 싹쓸이, AMD는 또 불참
MLCommons가 발표한 최신 MLPerf 추론 벤치마크에서 엔비디아가 H200과 TensorRT-LLM 최적화로 전 부문을 휩쓸었다. 현재 추론 작업은 엔비디아 데이터센터 매출의 약 40%를 차지한다. 인텔은 가우디2와 제온 결과를 제출한 반면 AMD는 이번에도 벤치마크에 참여하지 않았다.
메타, 차세대 AI '라마 3' 훈련 돌입…연내 H100 34만 대 확보 선언
마크 저커버그 메타 CEO는 차세대 대형 언어 모델 '라마 3'의 훈련을 시작했다고 밝혔습니다. 범용인공지능(AGI) 개발을 위해 추론과 코딩 능력을 대폭 강화할 계획이며, 2024년 말까지 엔비디아 H100 GPU를 34만 대 이상 확보해 업계 최대 규모의 인프라를 구축하겠다고 강조했습니다.
엔비디아 젠슨 황 CEO "5년 내 AGI 달성될 것"
2023년 뉴욕타임스 딜북 서밋에서 엔비디아의 젠슨 황 CEO는 5년 안에 범용인공지능(AGI)이 등장할 것이라고 예측했다. 그는 AGI를 일반인 수준의 테스트를 통과하는 시스템으로 정의하며, H-100 칩 설계에도 이미 AI가 필수적이지만 여전히 다단계 추론에는 한계가 있다고 덧붙였다.
챈 저커버그 이니셔티브, 1000장 규모 H100 클러스터 구축해 의료 AI 연구 지원
챈 저커버그 이니셔티브(CZI)가 1,000개 이상의 엔비디아 H100 GPU로 구성된 비영리 의료 연구용 AI 컴퓨팅 클러스터를 구축한다고 발표했다. 생성형 AI를 활용해 인체 세포를 시뮬레이션하는 '가상 세포' 모델을 개발하여 질병과 신약 반응을 예측하는 것이 목표다. CZI는 완성된 연구 모델을 과학자들에게 공개 제공할 예정이다.
미국, 엔비디아·AMD 첨단 AI 칩 수출 규제 중동 일부 국가로 확대
미국 정부가 엔비디아와 AMD의 첨단 AI 칩 수출 통제를 중동 일부 국가로 확대해 A100 및 H100 제품 공급 시 추가 라이선스를 취득하도록 했다. 양사는 이번 조치가 당장 매출에 중대한 영향을 주지는 않는다고 밝혔으나, AI 연산 자원에 대한 미국의 기술 통제망이 더 넓어지고 있다.
구글 클라우드, 5세대 TPU 발표: 비용 대비 성능 최대 2.5배 향상
구글 클라우드가 AI 학습 및 추론을 위한 5세대 자체 TPU 칩을 발표했다. 비용 효율성에 집중해 달러당 학습 성능은 2배, 추론 성능은 2.5배 향상됐다. 단일 AI 작업을 수만 개 칩 규모의 다중 클러스터로 확장할 수 있도록 지원하는 점도 특징이다.
테슬라, 엔비디아 H100 1만 개 탑재한 대형 슈퍼컴퓨터 가동
테슬라가 엔비디아 H100 GPU 1만 개를 탑재한 신규 AI 슈퍼컴퓨터 클러스터를 가동하기 시작했다. FP64 기준 340 PFLOPS 연산 성능을 발휘해 세계 4위 슈퍼컴퓨터 레오나르도를 앞선다. 자체 개발 중인 도조와 함께 완전자율주행 훈련 병목을 해소하겠다는 구상이다.
250억 달러 몰린 대형언어모델 열풍, GPU 사재기 속 버블 붕괴 조짐
코인텔레그래프 분석에 따르면 2023년 상반기 AI 스타트업이 250억 달러 이상을 유치했으나 거대한 버블 붕괴 징후가 나타나고 있습니다. 기업들이 독자 IP 없이 고가 GPU 확보에만 매달리는 가운데, 챗GPT 트래픽 감소와 API 기반 스타트업의 감원이 이어지고 있습니다.
엔비디아, 역대급 가이던스 발표: 2분기 매출 110억 달러 전망에 시총 하루 2000억 달러 폭등
엔비디아 주가가 27% 폭등하며 하루 만에 시가총액이 2000억 달러 이상 늘어났다. 월가 예상치인 72억 달러를 크게 웃도는 110억 달러 안팎의 2분기 매출 가이던스가 기폭제가 됐다. 젠슨 황 CEO는 생성형 AI 수요로 인해 전 세계 데이터센터가 가속 컴퓨팅으로 전환되는 10년의 여정이 이제 막 시작됐다고 강조했다.