메타, 차세대 자체 AI 추론 칩 ‘MTIA’ 공개… 연산 성능 2배 이상 향상
메타는 자체 개발한 차세대 AI 추론 칩 MTIA를 발표했다. TSMC 5nm 공정을 기반으로 이전 세대 대비 연산 성능과 메모리 대역폭을 2배 이상 개선했으며, 핵심 모델에서 3배의 성능을 기록했다. 이미 실제 데이터센터에 배치되어 상용 GPU 의존도를 낮추고 비용을 절감하는 데 투입되고 있다.
AI 컴퓨팅
최신 소식 보기
캐나다, AI 경쟁력 강화에 24억 달러 투입…컴퓨팅 인프라에 집중
쥐스탱 트뤼도 캐나다 총리는 AI 생태계 강화를 위해 2024년 예산안에서 24억 달러를 투입한다고 발표했다. 이 중 20억 달러는 컴퓨팅 인프라 확충과 주권 컴퓨팅 전략에 쓰이며, AI 안전 연구소 설립에도 5천만 달러가 배정된다. 해외로의 AI 인재 및 스타트업 유출을 막겠다는 구상이다.
MS·OpenAI, 1000억 달러 규모 슈퍼컴퓨터 '스타게이트' 구축 추진설
외신에 따르면 마이크로소프트와 OpenAI가 최대 1000억 달러가 투입되는 AI 슈퍼컴퓨터 프로젝트 '스타게이트(Stargate)'를 계획 중이다. 수백만 개의 칩이 투입되며 이르면 2028년 가동을 목표로 한다. 다만 최종 추진 여부는 OpenAI가 실질적인 모델 성능 향상을 입증할 수 있는지에 달린 것으로 전해졌다.
MS 코파일럿, PC 로컬 구동 준비 중…'40 TOPS' NPU 요구된다
인텔에 따르면 마이크로소프트는 코파일럿의 일부 기능을 PC 로컬에서 직접 구동하도록 개발 중이다. 반응 속도와 개인정보 보호를 개선하려는 목적이지만, 차세대 AI PC 기준인 40 TOPS 이상의 NPU가 필요해 현재 시판 중인 PC로는 감당하기 어렵다.
아마존, 앤트로픽에 27.5억 달러 추가 투자… 사상 최대 규모 벤처 베팅
아마존이 AI 스타트업 앤트로픽에 27.5억 달러를 추가 투자해 총 40억 달러 규모의 투자를 마무리했다. 앤트로픽은 AWS를 주요 클라우드로 사용하고 아마존 자체 칩을 활용해 모델을 훈련할 예정이다. 마이크로소프트와 오픈AI 연합에 맞서 클라우드 공룡들의 AI 투자가 가속화되고 있다.
MLPerf 추론 벤치마크 공개: 엔비디아 H200 싹쓸이, AMD는 또 불참
MLCommons가 발표한 최신 MLPerf 추론 벤치마크에서 엔비디아가 H200과 TensorRT-LLM 최적화로 전 부문을 휩쓸었다. 현재 추론 작업은 엔비디아 데이터센터 매출의 약 40%를 차지한다. 인텔은 가우디2와 제온 결과를 제출한 반면 AMD는 이번에도 벤치마크에 참여하지 않았다.
메타의 파격적인 AI 인재 영입전: 저커버그 직접 이메일·면접 없이 채용
외신에 따르면 메타가 AI 인재 확보를 위해 파격적인 조치를 취하고 있다. 마크 저커버그 CEO가 구글 딥마인드 연구원들에게 직접 이메일을 보내 이직을 제안했으며, 일부 후보자에게는 면접도 없이 바로 합격 오퍼를 건네고 있다. 빅테크 간 최고급 AI 핵심 연구원 쟁탈전이 극에 달한 모습이다.
엔비디아, 차세대 블랙웰 공개: 추론 성능 5배 향상으로 조 단위 모델 정조준
엔비디아 젠슨 황 CEO가 GTC에서 차세대 컴퓨팅 플랫폼 '블랙웰(Blackwell)'을 전격 발표했다. 조 단위 파라미터 모델을 겨냥한 이번 아키텍처는 호퍼 대비 FP4 추론 성능을 최대 5배 끌어올렸으며, GB200 슈퍼칩과 소프트웨어 배포 도구 NIM도 함께 공개했다. 사실상 범용 컴퓨팅의 한계를 선언하고 생성형 AI 가속 인프라의 표준을 다시 세운 셈이다.
엔비디아, GPU로 양자컴퓨터 시뮬레이션하는 '퀀텀 클라우드' 발표
엔비디아가 GTC에서 GPU 기반 양자 시뮬레이션 서비스 '엔비디아 퀀텀 클라우드'를 공개했다. 물리적 양자 프로세서가 성숙하기 전 신소재, 화학, 금융 사기 탐지 알고리즘을 테스트할 수 있도록 지원하며, 양자 내성 암호 라이브러리 cuPQC도 함께 선보였다. 현재 얼리 액세스로 제공된다.
엔비디아, 휴머노이드 로봇용 범용 파운데이션 모델 'GR00T' 공개
엔비디아가 GTC 콘퍼런스에서 휴머노이드 로봇을 위한 범용 AI 플랫폼 '프로젝트 GR00T'와 전용 컴퓨터 '젯슨 토르'를 발표했다. 보스턴 다이내믹스, 피규어 AI, 유니트리 등 주요 로봇 제조사들이 대거 합류해 피지컬 AI 개발 생태계 구축에 나선다.
샘 올트먼 팟캐스트 출연: AGI로 가는 길은 치열한 권력 투쟁일 것
OpenAI CEO 샘 올트먼이 렉스 프리드먼의 팟캐스트에 출연해 지난해 11월 이사회 축출 사태를 회고했다. 그는 당시가 회사 역사상 가장 고통스럽고 붕괴 직전의 순간이었지만 조직의 회복탄력성을 키웠다고 평가했다. 이어 미래에는 연산 능력이 핵심 화폐가 되며, AGI에 다가갈수록 심각한 권력 투쟁이 이어질 것이라 내다봤다.
엔비디아, 기후 디지털 트윈 '어스-2' 공개: 생성형 AI로 기상 예측 1000배 가속
GTC 2024에서 엔비디아가 지구 기후 디지털 트윈 클라우드 플랫폼 '어스-2(Earth-2)'를 발표했다. 생성형 AI 모델 CorrDiff와 옴니버스를 결합해 기존 수치 예보 모델보다 최대 1000배 빠르고 3000배 높은 에너지 효율로 2km 해상도 기상 예측을 제공한다. 대만 기상국 등이 태풍 경로 조기 예측에 도입했다.
인플렉션, Inflection-2.5 공개…40% 연산량으로 GPT-4 성능 근접
외신에 따르면, 인플렉션 AI가 개인용 AI 모델 Inflection-2.5를 공개했다. 회사 측은 GPT-4 수준 성능에 근접하면서도 훈련 연산량은 40%만 사용했다고 주장했다. 클로드 3 등에 이어 GPT-4급 모델 대열에 합류하며 최고급 모델 경쟁이 가속화되고 있다.
AI 추론 칩 스타트업 그록, 데피니티브 인텔리전스 인수
AI 추론 칩 제조사 그록(Groq)이 데이터 분석 스타트업 데피니티브 인텔리전스를 인수했다고 밝혔다. 피인수 기업은 그록의 LPU 칩을 온디맨드로 제공하는 'GroqCloud' 구축을 도와왔으며, 이번 인수를 통해 클라우드 플랫폼 확장과 엔터프라이즈 맞춤형 사업부 Groq Systems 출범에 박차를 가한다.
MS '다이렉트SR' 공개: DLSS·FSR·XeSS 코드 하나로 지원
마이크로소프트는 엔비디아, AMD, 인텔과 협력해 PC 게임의 AI 초해상도 기술을 통합하는 'DirectSR' API를 발표했다. 개발자는 단일 코드 경로로 DLSS, FSR, XeSS를 모두 활성화할 수 있다. 조만간 Agility SDK 프리뷰 버전으로 공개될 예정이다.
MS, 미스트랄 AI와 다년간 파트너십…최신 LLM '미스트랄 라지' 애저서 공개
마이크로소프트는 프랑스 AI 스타트업 미스트랄 AI와 다년간 파트너십을 맺고 플래그십 LLM '미스트랄 라지'를 애저 AI에 최초 출시했다. 애저 슈퍼컴퓨팅 인프라를 지원하며 MaaS 형태로 공급한다. 오픈AI 외에 유럽 대표 고성능 모델까지 클라우드 생태계로 끌어안았다.
구글, 레딧과 파트너십 확대…AI 학습에 레딧 실시간 데이터 투입
구글이 레딧과의 협력을 확대한다고 발표했다. 구글은 레딧 데이터 API 접근권을 얻어 검색 결과 표시뿐 아니라 AI 모델 훈련에도 활용할 방침이다. 레딧은 이에 맞춰 구글 클라우드의 버텍스 AI를 도입해 자체 검색 등 플랫폼 기능을 개선하기로 했다.
초당 247토큰 폭주…AI 칩 스타트업 Groq의 'LPU' 화제
AI 칩 스타트업 Groq가 선보인 언어처리장치(LPU) 구동 속도가 온라인에서 큰 주목을 받았다. 제3자 테스트 결과 초당 247토큰을 처리해 기존 클라우드 대비 13배 이상 빨랐다. 실시간 음성 대화가 가능할 만큼 지연 시간을 줄였으나, GPU 대비 확장성 입증은 과제로 꼽힌다.
엔비디아, PC 로컬 챗봇 'Chat with RTX' 무료 공개: 내 문서·유튜브 영상으로 대화
엔비디아가 윈도우 PC에서 오프라인으로 맞춤형 챗봇을 구동할 수 있는 데모 'Chat with RTX'를 무료 배포했다. Mistral, Llama 2 등 오픈소스 LLM에 로컬 문서나 유튜브 링크를 연결해 빠르게 검색하고 대화할 수 있으며 데이터가 외부에 유출되지 않는다. 단, 8GB 이상 VRAM을 갖춘 GeForce RTX 30 Series GPU 이상이 필요하다.
젠슨 황 엔비디아 CEO "모든 국가에 '소버린 AI' 필요하다"
엔비디아의 젠슨 황 CEO는 두바이 세계정부정상회의에서 각국이 자국의 데이터와 문화적 지능을 직접 보유하는 '소버린 AI'를 구축해야 한다고 강조했다. 그는 국가 단위의 인프라 구축이 생각보다 어렵지 않다며 누구나 인간의 언어로 프로그래밍하는 시대가 열렸다고 덧붙였다.