본문으로 건너뛰기
IFAI

업계 동향

메타와 퀄컴 맞손, 2024년부터 스마트폰·PC서 '라마 2' 직접 구동

게시 확산 지수 39

퀄컴과 메타가 파트너십을 발표하고, 2024년부터 퀄컴 칩셋이 탑재된 스마트폰과 PC에서 오픈소스 대형언어모델 '라마 2'를 온디바이스로 직접 구동할 계획이라고 밝혔습니다. 대규모 클라우드 데이터센터 의존도를 낮춰 운영 비용을 대폭 줄이고, 기기 내에서 더 빠른 AI 가상 비서를 구현하는 것이 목표입니다.

메타와 퀄컴 맞손, 2024년부터 스마트폰·PC서 '라마 2' 직접 구동
이미지: cnbc.com

올해 엔비디아 주가가 220% 넘게 폭등하며 AI 특수를 독식하는 동안, 스마트폰과 PC 칩을 만드는 퀄컴은 주가 상승률이 약 10%에 그치며 나스닥 평균(36%)에도 크게 뒤처졌습니다.

클라우드 중심의 AI 열풍에서 소외됐던 퀄컴이 반격에 나섰습니다.

퀄컴은 메타의 차세대 오픈소스 거대언어모델인 Llama 2를 2024년부터 자사 칩셋이 탑재된 스마트폰과 PC에서 직접 구동할 수 있도록 협력한다고 발표했습니다.

거대 AI를 주머니 속에 집어넣다

지금까지 거대언어모델은 엄청난 연산량과 데이터 요구량 탓에 대규모 서버와 데이터센터 속 GPU에서만 돌아가는 것이 당연시됐습니다.

퀄컴은 이 무대를 클라우드가 아닌 단말기 자체, 즉 엣지 환경으로 가져오겠다는 전략입니다. 스마트폰 로컬에서 모델이 직접 구동되면 천문학적인 서버 운용 비용을 획기적으로 줄일 수 있고, 네트워크 지연 없는 고성능 음성 비서 구현도 가능해집니다.

이를 가능케 한 것은 메타의 개방형 정책입니다. 오픈AI의 GPT-4나 구글 바드가 내부 가중치를 엄격한 기밀로 유지하는 반면, 메타는 Llama 2의 가중치를 무료로 공개했습니다. 모델 구조가 열려 있는 덕분에 스마트폰에 맞게 용량을 줄인 작은 프로그램 형태로 패키징할 수 있게 된 것입니다.

퀄컴 칩에는 AI 계산에 최적화된 텐서 처리 장치가 포함되어 있으며, 두 회사는 이전부터 메타 퀘스트 가상현실 기기용 칩셋 개발로 돈독한 관계를 맺어왔습니다.

하지만 스마트폰이 데이터센터의 최신 GPU 팜과 비교해 절대적인 연산 성능이 턱없이 부족하다는 물리적 한계는 여전합니다. 이전에 퀄컴이 스마트폰에서 선보인 스테이블 디퓨전 구동 시연 역시 속도가 상당히 느렸던 것이 사실입니다.

왜 중요한가

사용자 관점에서 온디바이스 AI의 가장 큰 매력은 완벽한 프라이버시 보호와 비용 절감입니다. 내 일정이나 사적인 대화가 외부 서버로 전송되지 않고 기기 안에서만 처리되므로 개인정보 유출 걱정이 없고, 구독료나 API 비용 부담도 사라집니다. 본격적인 기기 출시는 2024년이지만, 모바일 앱 개발자들에게는 고가의 클라우드 인프라 없이도 똑똑한 AI 기능을 넣을 수 있는 중요한 기회가 열립니다.

산업 측면에서는 AI 경쟁의 판도를 서버 인프라에서 소비자용 엣지 디바이스로 끌어내리는 분수령이 될 수 있습니다. 이는 애플과 미디어텍은 물론 PC 프로세서 제조사들까지 온디바이스 AI 칩 경쟁에 뛰어들게 만들 것입니다.

엔비디아가 장악한 클라우드 시장 대신 자신이 지배력을 쥔 모바일 디바이스에 승부수를 던진 퀄컴의 선택은 매우 영리해 보입니다. 다만 관건은 배터리와 발열을 쥐어짜면서도 챗GPT 수준의 즉각적인 응답 속도를 일반 스마트폰에서 구현해낼 수 있느냐에 달려 있습니다.

출처 (1)

  1. [1]
    cnbc.com(새 탭에서 열림)원문cnbc.com

매일 AI 콘텐츠 픽