EleutherAI, 8TB 규모 합법·공용 텍스트 AI 훈련 데이터셋 공개
EleutherAI가 2년간 구축한 8TB 크기의 AI 훈련 데이터셋 'The Common Pile v0.1'을 공개했다. 허가받은 저작물과 퍼블릭 도메인 텍스트로만 구성됐으며, 이를 기반으로 훈련한 7B 크기의 Comma 모델은 초기 Llama 수준의 벤치마크 성능을 입증했다.
EleutherAI
OSI "메타 라마 2는 오픈소스가 아니다" 비판
오픈소스 이니셔티브(OSI)는 메타가 '오픈소스'라는 용어를 오용하고 있다며 라마 2는 오픈소스 정의(OSD)에 부합하지 않는다고 밝혔다. 상업적 이용 규모와 특정 활용 분야를 제한하기 때문이라는 설명이다. OSI는 10월 17일 '오픈소스 AI'의 공식 정의 초안을 발표할 계획이다.