苹果如何优化端侧大模型:靠闪存突破内存限制,跑 2 倍大模型
Apple 发表论文《LLM in a flash》,展示如何将模型参数存放在闪存并按需调入 DRAM。借助窗口化复用与行列捆绑技术,设备能运行自身内存 2 倍大的模型,GPU 推理提速最高达 25 倍。这为端侧生成式 AI 落地铺平了道路。
Apple 发表论文《LLM in a flash》,展示如何将模型参数存放在闪存并按需调入 DRAM。借助窗口化复用与行列捆绑技术,设备能运行自身内存 2 倍大的模型,GPU 推理提速最高达 25 倍。这为端侧生成式 AI 落地铺平了道路。
Samsung 推出自研生成式 AI 模型 Gauss。该模型由 Samsung Research 开发,包含处理翻译和摘要的 Language、编程助手 Code 以及图像生成与编辑的 Image 三部分。相比依赖云端的方案,它主打端侧本地运行,预计将搭载于明年的 Galaxy S24 系列中。
周三,Samsung 正式上线 AI 饮食应用 Samsung Food,支持 8 种语言并登陆 104 个国家。应用内置 16 万道食谱,不仅能根据手头食材微调做法,还能直接联动三星厨电预热烤箱或设计时器。说白了,三星想用 AI 把做饭这件事从买菜到出锅全包了。
据华尔街日报报道,Google 正在开发代号为「Project Magi」的新搜索功能,试图摆脱传统的 10 个蓝色链接,加入 AI 对话与更多社交短视频内容。面对 ChatGPT 与 TikTok 的夹击,新版搜索重点解决那些「没有标准答案」的生活类查询,计划 5 月起率先向 100 万美国用户测试。
Samsung 在 CES 2023 上发布 Bespoke AI 壁挂烤箱,最大亮点是内置摄像头,不仅能识别 80 种菜品并在快烤焦时报警,还能把烘焙过程在线直播。新机配有 7 英寸彩屏,预计 2023 年晚些时候在北美上市,售价暂未公布。