Taalas HC1 공개: Llama 모델 하드웨어 직접 각인으로 초당 17,000 토큰 달성
Taalas가 Llama 3.1 8B 모델을 하드웨어에 직접 각인한 AI 가속 칩 HC1을 발표했다. 연산과 메모리를 통합해 엔비디아 B200 대비 40배 빠른 초당 17,000 토큰 출력을 내며 전력 소모도 10분의 1로 줄였다. 다만 특정 모델 전용이라 다른 모델을 교체해 쓸 수는 없다.
Llama 3.1
오렌지, 오픈AI·메타와 손잡고 아프리카 토착어 AI 모델 학습 착수
통신사 오렌지가 오픈AI, 메타와 협력해 서아프리카의 월로프어와 풀라어 등 토착 언어를 지원하는 AI 모델을 미세조정한다고 발표했다. 위스퍼와 라마 3.1을 학습시켜 고객 지원에 적용하고, 의료·교육 등 비상업적 용도를 위해 모델을 무료 배포해 문맹 인구의 디지털 포용을 넓힐 계획이다.
메타, 지역 문제 해결하는 제1회 라마 혁신상 수상 프로젝트 발표
메타가 아프리카, 중동, 아시아 태평양 등에서 라마(Llama)를 활용해 교육과 의료 등 현지 문제를 해결하는 단체를 지원하는 혁신상 수상자를 발표했다. 선정된 조직에는 최대 3만 5,000달러의 지원금과 광고 크레딧이 지급되며, 2개 국어 의료 상담과 백신 챗봇 등 다양한 프로젝트가 포함됐다.
메타, 라마 생태계 성적표 공개: 누적 다운로드 3.5억 건 육박, 클라우드 사용량 두 달 만에 2배
메타는 라마 3.1 출시 이후의 성장 지표를 공개했습니다. 허깅페이스 누적 다운로드 수는 전년 대비 10배 이상 증가한 3억 5,000만 건에 육박하며, 주요 클라우드 파트너의 토큰 사용량도 5월부터 7월 사이 2배 이상 늘었습니다. 8월에는 가장 큰 405B 모델 이용자 수가 가장 많아 오픈소스 모델의 기업 도입이 본격화되고 있음을 보여줍니다.
세레브라스, 세계 최고속 AI 추론 출시…Llama 3.1 초당 1800토큰 기록
세레브라스 시스템즈가 초고속 AI 추론 서비스인 '세레브라스 인퍼런스'를 공개했다. Llama 3.1 8B 모델 기준 초당 1800토큰을 출력해 기존 GPU 클라우드 대비 20배 빠르며 16비트 정밀도를 온전히 유지한다. 가격은 8B 기준 100만 토큰당 10센트부터 시작해 다단계 AI 에이전트의 실시간 반응성을 획기적으로 개선한다.
메타, 맞춤형 AI 캐릭터 제작 도구 'AI 스튜디오' 출시
메타가 Llama 3.1 기반의 'AI 스튜디오'를 미국에 출시했다. 누구나 자신만의 AI 캐릭터를 만들고 공유할 수 있으며, 크리에이터는 팬들의 질문에 답변하는 분신 AI를 구축할 수 있다. 다만 메타는 이후 Muse Spark에 집중하기 위해 신규 캐릭터 생성을 중단한다고 공지했다.
Meta, Llama 3.1 공개: GPT-4o 맞먹는 405B 오픈소스와 증류 허용
Meta가 Llama 3.1 시리즈를 공개했다. 플래그십 405B 모델은 128K 컨텍스트를 지원하며 GPT-4o급 성능을 제공한다. 특히 라이선스가 개정되어 405B의 출력을 활용해 다른 소형 모델을 증류 및 개선할 수 있도록 공식 허용했다.