리가이푸의 01.AI, 오픈소스 모델 'Yi-34B' 공개…메타 LLaMA 2 제쳤다

Yi-34B는 리가이푸가 설립한 AI 스타트업 01.AI가 공개한 오픈소스 바이링구얼 대규모 언어 모델이다. 영어와 중국어를 모두 지원하며, 텍스트 생성을 비롯한 다양한 언어 작업에 활용할 수 있도록 설계됐다.

지금까지 오픈소스 진영의 표준으로 자리 잡아온 메타의 LLaMA 2를 대체할 강력한 대안을 표방한다.

벤치마크 성능과 현황

공개 직후 Yi-34B는 허깅페이스의 사전학습 베이스 LLM 순위에서 1위를 차지했다.

주요 성능 지표 전반에서 오픈소스 커뮤니티의 기준점으로 꼽히던 메타의 LLaMA 2를 앞서며 단숨에 주목을 받았다.

01.AI는 올해 3월 팀 구성을 시작해 6월부터 본격 운영에 들어간 신생 스타트업이다. 하지만 알리바바 클라우드와 시노베이션 벤처스 등의 투자를 유치하며 이미 기업가치 10억 달러를 돌파했다. 반도체 수급 규제에 대비해 사전에 칩을 대량 확보해 두었으며, 리가이푸는 현재 비축된 칩으로 최소 1년 이상 연구 개발을 이어갈 수 있다고 밝혔다.

어떻게 활용할 수 있나

리가이푸는 Yi-34B가 중국 내수용에 그치지 않고 글로벌 은행이나 보험사 등 다국적 기업의 엔터프라이즈 환경에서도 쓰일 수 있도록 기획됐다고 설명한다.

기반 모델 자체는 미국이 여전히 앞서 있을지 몰라도, 모바일 인터넷 환경에서 쌓은 서비스 역량을 바탕으로 애플리케이션 개발에서는 충분히 승산이 있다는 판단이다. 01.AI 역시 모델 공개에 그치지 않고 개발자들이 손쉽게 애플리케이션을 만들 수 있는 생태계 조성에 집중할 방침이다.

현재 Yi-34B는 허깅페이스 플랫폼에 등록되어 있어 다운로드 및 테스트가 가능하다.

왜 중요한가

중국어와 영어를 동시에 처리해야 하는 글로벌 프로젝트나, 독자적인 인프라에 LLM을 구축하려는 개발팀에게 Yi-34B는 LLaMA 2를 대체할 만한 매력적인 카드다. 폐쇄형 상용 API에 종속되지 않고 자체 테스트 환경을 꾸려보기에 적절하다.

벤치마크 1위는 01.AI의 탄탄한 사전학습 엔지니어링 역량을 증명한다. 다만 모델의 성패는 수치상의 벤치마크가 아니라, 실제 개발자들이 이 위에서 얼마나 쓸모 있는 애플리케이션을 만들어내느냐에 달려 있다.