애플의 온디바이스 LLM 최적화 비결: 플래시 메모리 활용해 RAM 한계 2배 돌파
애플이 논문 'LLM in a flash'를 통해 기기 메모리 한계를 넘어 대규모 언어모델을 구동하는 기술을 공개했다. 모델 파라미터를 플래시 메모리에 저장하고 필요할 때만 DRAM으로 불러와 가용 RAM의 2배 크기 모델을 실행하며, GPU 추론 속도를 최대 25배 높였다. 온디바이스 AI 상용화를 위한 핵심 기술이다.
애플이 논문 'LLM in a flash'를 통해 기기 메모리 한계를 넘어 대규모 언어모델을 구동하는 기술을 공개했다. 모델 파라미터를 플래시 메모리에 저장하고 필요할 때만 DRAM으로 불러와 가용 RAM의 2배 크기 모델을 실행하며, GPU 추론 속도를 최대 25배 높였다. 온디바이스 AI 상용화를 위한 핵심 기술이다.