퀄컴, 차세대 칩에 생성형 AI 직접 탑재…내년 프리미엄 폰에 적용
퀄컴은 오는 10월 말 연례 서밋에서 온디바이스 생성형 AI를 지원하는 차세대 플래그십 칩을 공개한다고 밝혔다. 기기 내에서 직접 구동되어 클라우드 서버 비용을 아끼고 오프라인 상태에서도 개인 데이터를 안전하게 처리한다. 내년 출시될 프리미엄 안드로이드 폰부터 수십억 매개변수 모델이 탑재될 전망이다.
퀄컴은 오는 10월 말 연례 서밋에서 온디바이스 생성형 AI를 지원하는 차세대 플래그십 칩을 공개한다고 밝혔다. 기기 내에서 직접 구동되어 클라우드 서버 비용을 아끼고 오프라인 상태에서도 개인 데이터를 안전하게 처리한다. 내년 출시될 프리미엄 안드로이드 폰부터 수십억 매개변수 모델이 탑재될 전망이다.
엔비디아가 발표한 2분기 실적에서 매출 135억 달러, 순이익 61억 8800만 달러(전년 동기 대비 843% 증가)를 기록했다. 생성형 AI 칩 수요 폭증으로 데이터센터 매출만 103억 2000만 달러에 달했다. 다음 분기 매출 전망도 160억 달러로 제시하며 독주를 이어가고 있다.
Stability AI가 엔비디아와 협력해 TensorRT로 최적화된 SDXL의 ONNX 가중치를 공개했다. 엔비디아 H100 GPU에서 고해상도 이미지를 1.47초 만에 생성하며 지연 시간을 41% 줄이고 처리량을 70% 끌어올렸다. 고성능 이미지 생성의 속도와 인프라 비용 효율이 크게 개선됐다.
마이크로소프트와 액센츄어가 에너지 업계의 메탄 배출 문제를 해결하기 위해 손을 잡았다. Azure 기반 이상 탐지 모델과 센서 네트워크를 결합해 가스 누출 위치를 준실시간으로 파악하고 보수 작업을 자동 연계한다. 막대한 비용이 들던 사후 점검 방식을 선제적인 감시 체계로 전환하는 시도다.
엔비디아가 게임스컴에서 DLSS 3.5를 공개했다. 핵심인 레이 리컨스트럭션은 수동 튜닝 디노이저 대신 슈퍼컴퓨터로 훈련된 AI 네트워크를 활용해 반사와 조명 품질을 높인다. 모든 지포스 RTX 그래픽카드를 지원하며 올가을 신작 타이틀부터 순차 적용된다.
바이든 미국 대통령이 중국의 AI, 반도체, 양자 컴퓨팅 분야에 대한 미국 자본의 신규 투자를 제한하는 행정명령에 서명했다. 벤처캐피털과 사모펀드 등이 주요 대상이며 특히 반도체 설계 소프트웨어(EDA)와 제조 장비가 집중 타깃이다. 의견 수렴을 거쳐 내년 정식 발효될 예정이다.
엔비디아가 SIGGRAPH에서 통합 개발 툴킷 'NVIDIA AI Workbench'를 발표했다. 개발자는 로컬 RTX PC나 워크스테이션에서 허깅페이스 등 오픈소스 모델을 클릭 몇 번으로 미세조정하고 클라우드로 손쉽게 확장할 수 있다. 기업용 플랫폼 4.0도 함께 공개됐다.
엔비디아와 허깅페이스가 DGX 클라우드 슈퍼컴퓨팅을 허깅페이스 플랫폼에 통합한다고 발표했다. 노드당 8개의 H100 또는 A100 GPU를 탑재한 '서비스형 훈련 클러스터'를 도입해 원클릭으로 기업 맞춤형 대형 언어모델 학습을 지원한다. 향후 수개월 내 정식 제공될 예정이다.
마이크로소프트는 엔비디아 H100 GPU 8장을 탑재한 '애저 ND H100 v5' 가상머신을 정식 출시했다. 동시에 애저 오픈AI 서비스 지원 지역을 일본 동부와 영국 남부 등 5개 리전으로 확장했다. FP8 연산 성능을 최대 6배 높인 인프라로 급증하는 기업 AI 수요를 본격 흡수하겠다는 계획이다.
코인텔레그래프 분석에 따르면 2023년 상반기 AI 스타트업이 250억 달러 이상을 유치했으나 거대한 버블 붕괴 징후가 나타나고 있습니다. 기업들이 독자 IP 없이 고가 GPU 확보에만 매달리는 가운데, 챗GPT 트래픽 감소와 API 기반 스타트업의 감원이 이어지고 있습니다.
2023년 2분기 실적 발표에서 팻 겔싱어 인텔 CEO는 향후 회사가 만드는 모든 플랫폼과 제품에 AI 기능을 탑재하겠다고 밝혔다. 첫 NPU 탑재 소비자용 칩 '메테오레이크'는 올해 말 출시될 예정이다. 그는 지연 시간과 비용 문제로 인해 모든 AI를 클라우드에 의존할 수는 없으며, 엣지와 클라이언트 중심의 온디바이스 AI 처리가 필수적이라고 강조했다.
퀄컴과 메타가 파트너십을 발표하고, 2024년부터 퀄컴 칩셋이 탑재된 스마트폰과 PC에서 오픈소스 대형언어모델 '라마 2'를 온디바이스로 직접 구동할 계획이라고 밝혔습니다. 대규모 클라우드 데이터센터 의존도를 낮춰 운영 비용을 대폭 줄이고, 기기 내에서 더 빠른 AI 가상 비서를 구현하는 것이 목표입니다.
마이크로소프트는 메타의 오픈소스 대형 언어 모델 'Llama 2'의 상용화 우선 파트너로서 Azure와 Windows 지원을 발표했다. Azure 고객은 7B, 13B, 70B 모델을 손쉽게 미세조정 및 배포할 수 있으며, ONNX Runtime 최적화를 통해 Windows PC 로컬 환경에서도 구동할 수 있다.
일론 머스크는 신설 AI 스타트업 xAI가 테슬라와 반도체 및 AI 소프트웨어 분야에서 협력하고, 트위터의 공개 데이터를 모델 학습에 활용할 것이라고 밝혔다. 또한 테슬라의 주행 데이터를 통해 AI가 물리적 세계를 이해하도록 돕는다는 구상이다. 자신의 기업 자산을 총동원해 AI 데이터와 하드웨어 시너지를 노리는 포석이다.
일론 머스크가 '우주의 본질을 이해하겠다'는 목표를 내걸고 새 인공지능 기업 xAI를 설립했다. 딥마인드와 OpenAI, 구글 출신 연구진이 대거 합류했으며, 트위터 데이터와 테슬라의 컴퓨팅 자원을 결합해 모델을 훈련할 계획이다. OpenAI와 결별했던 머스크가 본격적으로 생성형 AI 주도권 경쟁에 뛰어들었다.
AI 스타트업 인플렉션 AI가 마이크로소프트, 엔비디아, 빌 게이츠 등이 참여한 라운드에서 13억 달러를 유치했다. 기업가치는 40억 달러로 평가받았다. 인플렉션 AI는 코어위브, 엔비디아와 협력해 2만 2000대의 H100 GPU 클러스터를 구축하고 개인용 AI 비서 '파이(Pi)'를 고도화할 계획이다.
엔비디아가 최신 MLPerf 훈련 벤치마크 8개 전 부문에서 H100 GPU로 신기록을 달성했다고 발표했다. 코어위브가 구축한 3,584개 H100 클러스터는 거대 GPT-3 훈련 테스트를 11분도 채 안 돼 마쳤다. 대규모 환경에서도 뛰어난 선형 확장을 입증하며 생성형 AI 칩 시장에서의 독보적 입지를 재확인했다.
AWS는 기업 고객의 생성형 AI 도입을 돕기 위해 1억 달러 규모의 'AWS 생성형 AI 혁신 센터'를 발표했다. 소속 데이터 과학자와 엔지니어가 무료 워크숍과 맞춤형 모델 파인튜닝을 지원하며, 금융·헬스케어 등 주요 산업군을 우선 지원할 계획이다.
시스코가 AI 슈퍼컴퓨터 전용 네트워크 칩 'G200'과 'G202'를 발표했다. 이전 세대 대비 성능을 2배 높였으며 최대 32,000개의 GPU를 연결하고 전력 소비를 최대 40% 줄일 수 있다. 시스코는 대형 클라우드 제공업체 6곳 중 5곳이 이미 해당 칩을 시험 중이라고 밝혔다.
AMD는 데이터센터 및 AI 기술 프리미어 행사를 열고 차세대 서버 제품군을 공개했다. 회사는 AI를 최우선 전략으로 내걸고, 엔비디아의 호퍼 아키텍처에 맞설 핵심 무기로 멀티 다이 가속기 'Instinct MI300'을 전면에 내세웠다.