버클리·스탠퍼드 연구진, 강화학습 없이 LLM 최적화하는 GEPA 공개
UC 버클리와 스탠퍼드대, 데이터브릭스 연구진이 새로운 LLM 최적화 방법인 GEPA를 선보였다. 단순 수치 보상 기반의 고비용 강화학습 대신, 시스템 오류와 실행 기록을 자연어로 반성하고 프롬프트를 진화시켜 최대 35배 적은 시도로도 더 높은 성능을 낸다.
Databricks
영상 검색 AI 트웰브랩스, 3000만 달러 투자 유치 및 김윤 사장 영입
영상 이해 전문 AI 기업 트웰브랩스가 3000만 달러의 신규 투자를 유치하며 누적 투자금 1억 710만 달러를 확보했다. 또한 전 SK Telecom CTO이자 시리(Siri) 핵심 아키텍트 출신인 김윤을 사장 겸 최고전략책임자로 영입했다. 텍스트로 영상 속 특정 장면을 찾는 자체 기술로 엔터프라이즈와 보안 시장 공략을 가속화한다.
스노우플레이크, 기업용 오픈소스 LLM '아크틱' 공개
스노우플레이크가 기업 업무에 특화된 생성형 AI 모델 'Arctic LLM'을 Apache 2.0 라이선스로 오픈소스 공개했습니다. 4800억 개 파라미터 중 170억 개만 활성화하는 MoE 구조를 채택해 200만 달러라는 비교적 저렴한 비용으로 훈련됐으며, SQL 생성 및 엔터프라이즈 코딩 작업에서 데이터브릭스의 DBRX를 앞선다고 밝혔습니다.
클라우드플레어, 엣지 AI 도구 출시: 사용한 만큼만 내는 GPU 추론 지원
클라우드플레어가 Workers AI, Vectorize, AI Gateway 등 엣지 AI 제품군을 발표했다. 이용자 인근 GPU에서 라마 2 등의 모델을 종량제로 실행하고, 벡터 데이터베이스 저장 및 캐싱 기반 비용 관리를 지원한다. 추론 데이터는 모델 학습에 쓰이지 않는다.
엔비디아 TensorRT-LLM 오픈소스 공개: H100 추론 최대 8배 향상
엔비디아가 거대언어모델 추론을 가속하는 오픈소스 라이브러리 TensorRT-LLM을 공개했다. 인플라이트 배칭과 FP8 양자화를 적용해 H100 GPU 환경에서 A100 대비 최대 8배의 처리량과 라마 2 4.6배 속도 향상을 기록했다. 개발자는 C++이나 CUDA 없이 파이썬 API로 병렬 처리를 제어하며 데이터센터 비용을 크게 절감할 수 있다.
데이터브릭스, 생성형 AI 스타트업 모자이크ML 13억 달러에 인수
데이터브릭스가 생성형 AI 스타트업 모자이크ML을 13억 달러에 인수한다고 발표했다. 모자이크ML은 오픈소스 모델인 MPT 시리즈 등 저비용 LLM 학습 및 미세조정 기술로 유명하다. 이번 인수로 기업 고객은 민감한 데이터를 외부에 유출하지 않고도 레이크하우스 플랫폼 내에서 자체 맞춤형 모델을 직접 구축할 수 있게 된다.