스트리트 뷰로 건물 안전 진단: 몇 달 걸리던 전수 조사를 몇 시간 만에
플로리다대 연구진이 구글 스트리트 뷰와 엔비디아 DGX A100을 결합해 도시 건물 안전을 자동 평가하는 딥러닝 시스템을 공개했다. 재해 후 수개월이 걸리던 점검 작업을 몇 시간으로 단축하며, FEMA 기준 평가 정확도는 85%를 넘는다. 현재 멕시코 등 현지 지자체에서 실증 테스트 중이다.
플로리다대 연구진이 구글 스트리트 뷰와 엔비디아 DGX A100을 결합해 도시 건물 안전을 자동 평가하는 딥러닝 시스템을 공개했다. 재해 후 수개월이 걸리던 점검 작업을 몇 시간으로 단축하며, FEMA 기준 평가 정확도는 85%를 넘는다. 현재 멕시코 등 현지 지자체에서 실증 테스트 중이다.
MSPoweruser를 통해 퀄컴 스냅드래곤 8 3세대의 내부 사양 문서가 유출되었다. 생성형 AI 구동에 초점을 맞춘 첫 플래그십 모바일 플랫폼으로, INT4 정밀도를 지원하는 헥사곤 NPU와 언리얼 엔진 5.2 레이 트레이싱을 탑재했다. 차세대 안드로이드 플래그십의 온디바이스 AI 경쟁을 촉발할 핵심 부품이다.
AMD가 오픈소스 AI 소프트웨어 전문 기업 Nod.ai를 인수한다고 발표했다. SHARK 및 Torch-MLIR 주요 기여자인 Nod.ai의 컴파일러 기술을 흡수해 AMD 칩 전반의 AI 모델 최적화와 배포를 가속화하고, 오픈 소프트웨어 생태계를 대폭 강화한다는 계획이다.
시장조사업체 CCS 인사이트는 생성형 AI가 비용 부담과 규제 장벽으로 인해 2024년 본격적인 현실 검증 단계에 진입할 것이라고 전망했다. 막대한 컴퓨팅 비용 탓에 빅테크 외 기업들의 접근이 어려워지며, 검색 엔진의 AI 라벨링 도입과 첫 딥페이크 체포 사례도 나올 것으로 내다봤다.
로이터에 따르면 OpenAI가 GPU 부족과 막대한 인프라 비용에 대응하기 위해 자체 AI 칩 설계나 반도체 기업 인수를 검토 중이다. 샘 올트먼 CEO는 칩 확보를 최우선 과제로 삼았으나, 칩 개발에는 수년의 시간과 막대한 투자가 필요한 만큼 리스크도 크다.
로이터통신에 따르면, 오픈AI는 GPU 품귀 현상에 대응해 자체 AI 칩 설계나 관련 기업 인수를 검토 중이다. 샘 알트먼 CEO는 칩 확보를 최우선 순위로 지정했다. 폭증하는 챗GPT 운영 비용을 낮추려는 시도지만, 칩 개발에는 수년의 시간과 막대한 자금이 소요된다.
AWS는 생성형 AI 완전관리형 서비스 '아마존 베드록(Amazon Bedrock)'을 정식 출시했다. 기업은 단일 API로 Anthropic, Meta 등의 주요 파운데이션 모델을 호출할 수 있으며, RAG 구축을 돕는 Titan Embeddings 모델도 함께 정식 지원된다.
클라우드플레어가 Workers AI, Vectorize, AI Gateway 등 엣지 AI 제품군을 발표했다. 이용자 인근 GPU에서 라마 2 등의 모델을 종량제로 실행하고, 벡터 데이터베이스 저장 및 캐싱 기반 비용 관리를 지원한다. 추론 데이터는 모델 학습에 쓰이지 않는다.
아마존은 앤트로픽에 최대 40억 달러를 투자하며 소수 지분을 확보한다고 발표했다. AWS는 앤트로픽의 주요 클라우드 공급자가 되어 트레이니엄 및 인퍼런시아 칩을 제공하며, 기업 고객은 아마존 베드록을 통해 클로드 2를 맞춤형으로 도입할 수 있게 된다.
챈 저커버그 이니셔티브(CZI)가 1,000개 이상의 엔비디아 H100 GPU로 구성된 비영리 의료 연구용 AI 컴퓨팅 클러스터를 구축한다고 발표했다. 생성형 AI를 활용해 인체 세포를 시뮬레이션하는 '가상 세포' 모델을 개발하여 질병과 신약 반응을 예측하는 것이 목표다. CZI는 완성된 연구 모델을 과학자들에게 공개 제공할 예정이다.
미국 연방거래위원회(FTC)는 생성형 AI 시장 내 반독점 조사 강화를 예고했다. 빅테크 기업이 컴퓨팅 인프라를 독점 계약해 스타트업을 배제하거나, 기존 소프트웨어에 AI를 끼워팔아 경쟁을 저해하는 행위, 핵심 데이터와 인재 인수를 통한 시장 왜곡을 집중 감시할 방침이다.
AP통신 보도에 따르면 마이크로소프트와 오픈AI가 GPT-4 학습용 슈퍼컴퓨터를 냉각하기 위해 아이오와주에서 막대한 양의 물을 소비한 것으로 나타났다. MS의 연간 물 사용량은 34% 급증했으며, ChatGPT에 질문 5~50회를 할 때마다 약 500ml의 물이 소비된다는 분석이 나왔다.
엔비디아가 거대언어모델 추론을 가속하는 오픈소스 라이브러리 TensorRT-LLM을 공개했다. 인플라이트 배칭과 FP8 양자화를 적용해 H100 GPU 환경에서 A100 대비 최대 8배의 처리량과 라마 2 4.6배 속도 향상을 기록했다. 개발자는 C++이나 CUDA 없이 파이썬 API로 병렬 처리를 제어하며 데이터센터 비용을 크게 절감할 수 있다.
팻 겔싱어 인텔 CEO는 비용과 지연 시간, 개인정보 문제로 인해 AI가 클라우드에서 엣지로 이동할 것이라고 밝혔다. 인텔은 연내 전용 AI 하드웨어를 탑재한 Meteor Lake PC 칩을 출시하고, 80%가 넘는 x86 PC 점유율을 앞세워 개발사의 온디바이스 AI 채택을 유도할 계획이다.
미국 정부가 엔비디아와 AMD의 첨단 AI 칩 수출 통제를 중동 일부 국가로 확대해 A100 및 H100 제품 공급 시 추가 라이선스를 취득하도록 했다. 양사는 이번 조치가 당장 매출에 중대한 영향을 주지는 않는다고 밝혔으나, AI 연산 자원에 대한 미국의 기술 통제망이 더 넓어지고 있다.
구글 클라우드가 엔비디아 H100 GPU 기반의 A3 인스턴스를 정식 출시했다. 양사는 거대언어모델 학습용 PaxML 프레임워크를 엔비디아 GPU에 맞게 최적화하고 NGC에 등록하는 등 긴밀한 기술 협력을 이어간다.
구글 클라우드가 AI 학습 및 추론을 위한 5세대 자체 TPU 칩을 발표했다. 비용 효율성에 집중해 달러당 학습 성능은 2배, 추론 성능은 2.5배 향상됐다. 단일 AI 작업을 수만 개 칩 규모의 다중 클러스터로 확장할 수 있도록 지원하는 점도 특징이다.
Google이 Cloud Next 콘퍼런스에서 Vertex AI의 대규모 업데이트를 발표했다. PaLM 2의 컨텍스트 창을 32,000토큰으로 늘리고 Codey와 Imagen을 개선했으며, 클로드 2와 라마 2 등 타사 모델도 모델 가든에 추가했다. 확장 기능과 기업용 검색·대화 툴을 앞세워 AWS 베드록에 맞선다.
테슬라가 엔비디아 H100 GPU 1만 개를 탑재한 신규 AI 슈퍼컴퓨터 클러스터를 가동하기 시작했다. FP64 기준 340 PFLOPS 연산 성능을 발휘해 세계 4위 슈퍼컴퓨터 레오나르도를 앞선다. 자체 개발 중인 도조와 함께 완전자율주행 훈련 병목을 해소하겠다는 구상이다.
세미애널리시스는 구글이 제미나이 개발을 가속화하며 사전학습 연산량이 연내 GPT-4의 5배, 내년에는 20배에 달할 것이라는 분석을 내놨다. 또한 AI 업계를 'GPU 부자'와 'GPU 빈곤층'으로 분류하며, 자체 TPUv5를 갖춘 구글이 엔비디아의 독점을 깰 유일한 대항마라고 짚었다.