苹果如何优化端侧大模型：靠闪存突破内存限制，跑 2 倍大模型
Apple 发表论文《LLM in a flash》，展示如何将模型参数存放在闪存并按需调入 DRAM。借助窗口化复用与行列捆绑技术，设备能运行自身内存 2 倍大的模型，GPU 推理提速最高达 25 倍。这为端侧生成式 AI 落地铺平了道路。
Apple 发表论文《LLM in a flash》，展示如何将模型参数存放在闪存并按需调入 DRAM。借助窗口化复用与行列捆绑技术，设备能运行自身内存 2 倍大的模型，GPU 推理提速最高达 25 倍。这为端侧生成式 AI 落地铺平了道路。