대형 언어 모델의 '스테이블 디퓨전 모먼트': 노트북에서 LLaMA가 돌아간다

llama.cpp는 Meta의 대형 언어 모델 LLaMA를 일반 맥북이나 라즈베리 파이 같은 개인 기기에서 직접 구동할 수 있게 해주는 C/C++ 기반의 경량 오픈소스 추론 도구입니다.

기존에 GPT-3급 대형 언어 모델을 돌리려면 개당 8,000달러가 넘는 A100 GPU를 여러 대 갖춰야만 했습니다. llama.cpp는 4비트 양자화 기술을 적용해 이 거대한 모델을 개인 하드웨어 수준으로 압축해 냈습니다.

수행 능력과 하드웨어 요구 사양

4비트 양자화를 거치면 7B 파라미터 LLaMA 모델의 용량은 약 4GB로 줄어들고, GPT-3에 필적하는 성능을 낸다는 13B 모델도 8GB 미만으로 내려옵니다.

즉, 값비싼 클라우드 API를 구독하지 않고도 일반 맥북의 램과 로컬 자원만으로 텍스트를 생성할 수 있습니다.

개발자들의 실험에 따르면 맥북에서 7B와 13B 모델이 매끄럽게 돌아갔을 뿐 아니라, 4GB 램을 탑재한 라즈베리 파이 4에서 토큰당 약 10초 속도로 7B 모델을 구동하는 데 성공했습니다. 구글 픽셀 6 스마트폰에서도 토큰당 26초 속도로 작동이 확인되었으며, 스탠퍼드 대학의 Alpaca 등 후속 모델 연구로도 빠르게 이어지고 있습니다.

작동 방식과 주의할 점

이 프로젝트는 OpenAI의 음성인식 모델을 C++로 이식했던 whisper.cpp 개발자 Georgi Gerganov가 만들었습니다. 외부 의존성 없이 순수 C/C++로 구현되어 설치와 실행이 매우 가볍습니다.

다만 LLaMA 모델 자체는 연구 목적 프리뷰로 공개되어 상업적 이용이 엄격히 금지되어 있습니다. 비공식 BitTorrent 마그넷 링크가 유출되면서 사실상 전 세계 해커들의 손에 들어갔지만 법적 라이선스 제한은 유효합니다. 또한 중앙화된 클라우드의 검열 장치가 없기 때문에 허위 정보나 악용 위험을 사용자가 온전히 감당해야 합니다.

코드와 사용법은 GitHub 저장소에 모두 공개되어 있으며, README 안내에 따라 빌드하고 가중치를 변환하면 터미널에서 즉시 테스트할 수 있습니다.

왜 중요한가

우리는 llama.cpp가 LLM 생태계의 판도를 바꾼 결정적 계기라고 봅니다. 소수 빅테크의 클라우드 정원에 갇혀 있던 강력한 AI 두뇌가 전 세계 개발자들의 개인 컴퓨터로 완전히 해방되었기 때문입니다.

비용과 네트워크 연결 걱정 없이 오프라인에서 로컬 AI 워크플로를 실험해보고 싶은 개발자라면 지금 당장 설치해볼 가치가 충분합니다.