애플의 온디바이스 LLM 최적화 비결: 플래시 메모리 활용해 RAM 한계 2배 돌파

스마트폰에서 대규모 언어 모델(LLM)을 구동할 때 가장 큰 걸림돌은 프로세서 성능보다 부족한 램(DRAM) 용량이었습니다. 쓸 만한 모델을 올리려면 수 기가바이트의 메모리가 필요한데, 모바일 기기의 램 용량은 늘 한계가 뚜렷했기 때문입니다.

애플은 이 문제를 해결하기 위해 'LLM in a flash: Efficient Large Language Model Inference with Limited Memory'라는 제목의 연구 논문을 공개했습니다. 모델 파라미터를 플래시 메모리에 저장해 두고, 필요한 시점에만 DRAM으로 불러와 처리하는 온디맨드 방식입니다.

플래시 메모리 한계 넘은 두 가지 최적화 기술

플래시 메모리는 넉넉하지만 DRAM보다 읽기 속도가 훨씬 느립니다. 단순하게 데이터를 불러왔다가는 체감 속도가 크게 떨어질 수밖에 없습니다.

애플 연구진은 플래시 메모리의 하드웨어 특성을 반영한 추론 비용 모델을 구축했습니다. 핵심은 두 가지입니다. 플래시에서 전송하는 데이터 양 자체를 줄이고, 한 번 읽을 때 더 크고 연속적인 덩어리로 읽는 것입니다.

이를 구현하기 위해 연구진은 두 가지 주요 기법을 도입했습니다.

첫 번째는 '윈도잉(windowing)'입니다. 모델 추론 과정에서 이전에 활성화되었던 뉴런을 재사용함으로써 플래시에서 DRAM으로 전송해야 하는 데이터양을 전략적으로 줄였습니다.

두 번째는 '행-열 번들링(row-column bundling)'입니다. 플래시 메모리가 연속 데이터 접근에 강하다는 점에 착안해, 읽어 들이는 데이터 블록의 크기를 키워 읽기 대역폭을 최대한 활용하도록 설계했습니다.

그 결과 가용 DRAM 크기의 최대 2배에 달하는 대형 모델을 기기에서 구동할 수 있게 되었습니다. 단순 적재 방식과 비교했을 때 추론 속도는 CPU에서 4~5배, GPU에서는 20~25배 빨라졌습니다.

모바일 기기 위에서 펼쳐지는 온디바이스 AI 전쟁

이번 연구는 애플이 차기 iOS 18에 생성형 AI 기능을 대대적으로 통합하려는 움직임과 직결되어 있습니다.

애플은 시리와 메시지 앱에 생성형 AI를 적용해 질의응답과 문장 자동 완성을 한층 정교하게 다듬을 계획입니다. 애플 뮤직, 페이지스, 키노트, 그리고 개발 도구인 엑스코드(Xcode) 등 다양한 앱에도 AI 도입을 검토 중인 것으로 알려졌습니다.

경쟁사들의 행보도 빨라지고 있습니다.

삼성전자는 최근 자체 온디바이스 모델인 '가우스(Gauss)'를 발표하고, 2024년 초 출시 예정인 갤럭시 S24 시리즈를 시작으로 노트북과 태블릿 등 스마트 기기 전반에 탑재할 계획입니다.

구글 역시 픽셀 8 시리즈에 탑재될 온디바이스 모델 '제미나이 나노(Gemini Nano)'를 발표하며 녹음 앱 요약과 Gboard 스마트 답장 기능을 예고한 바 있습니다.

왜 중요한가

이 논문은 온디바이스 AI의 가장 큰 장벽인 하드웨어 단가 문제를 우회할 수 있는 영리한 돌파구를 보여줍니다.

사용자 관점에서는 최신 AI 기능을 쓰기 위해 값비싼 고용량 램 모델을 억지로 살 필요가 없어집니다. 기기 안에서 모델이 직접 돌면 개인정보가 외부 서버로 빠져나가지 않고 네트워크 연결이 끊긴 환경에서도 동작한다는 강력한 이점이 있습니다.

업계 측면에서도 값비싼 모바일 DRAM을 마냥 늘리기보다 저렴한 플래시 메모리를 효율적으로 쓰는 방식이 훨씬 경제적입니다. 구글과 삼성 등 하드웨어 메모리 증설에 의존하려던 경쟁 진영에도 소프트웨어 최적화 경쟁을 자극할 것으로 보입니다.

다만 플래시 메모리에 대한 잦은 읽기 접근이 장기적으로 스토리지 수명이나 발열, 배터리 소모에 미칠 영향은 상용화 단계에서 검증이 필요하다고 봅니다. 그럼에도 하드웨어의 물리적 한계를 소프트웨어 아키텍처로 극복해 낸 접근 방식은 온디바이스 AI 대중화를 앞당기는 중요한 이정표가 될 것입니다.