Meta 联手高通：2024 年起让 Llama 2 直接在手机和 PC 上跑

过去大半年里，几乎所有人都在讨论大模型，但赚钱的狂欢似乎只属于英伟达。成千上万块顶级显卡塞满云端机房，把英伟达股价推高了超过 220%，而平时装在大家手机和笔记本里的高通芯片，今年股价涨幅只有可怜的 10% 左右，连纳斯达克 36% 的大盘都没跑赢。

高通显然不想继续在场边看热闹了。

周二，高通和 Meta 正式宣布联手，计划从 2024 年开始，让 Meta 最新发布的大语言模型 Llama 2 直接跑在高通芯片驱动的智能手机和 PC 上。换句话说，大模型不用再大费周章地挂在云端服务器上，而是要被直接塞进你的口袋里。

把吞金兽塞进小口袋

大模型之所以一直被困在数据中心，说白了就一个字：贵。每次你在云端调一次 ChatGPT，背后都是算力和电费在疯狂燃烧。

高通打的主意是所谓的「端侧 AI」。只要能把模型挪到手机本地运行，不仅能把昂贵的数据中心运维成本直接打下来，手机自带的语音助手和各种应用也能省去网络延迟，响应变得更快、更聪明。

这里面的核心功臣是 Meta 的开源策略。OpenAI 的 GPT-4 和谷歌的 Bard 都把模型权重当成商业机密藏得严严实实，但 Meta 选择把 Llama 2 的权重完全公开，允许开发者甚至商业公司免费拿去用。

正因为模型是开放的，工程师才能把它压缩打包成体积极小的程序，刚好能够塞进手机的内存里。

手机能跑，但跑得多顺？

高通自己的底气，来自处理器里自带的张量计算单元。这类专门处理 AI 运算的模块，在架构上非常契合神经网络计算。

两家公司此前在 Meta Quest 虚拟现实头显的芯片上就已经合作多年，算是有现成的默契。高通此前也展示过在手机芯片上本地运行 Stable Diffusion 图像生成模型，只不过当时的生成速度确实谈不上快。

摆在眼前的物理限制也很残酷。手机芯片再怎么拼命优化，电池容量和散热空间就摆在那里，能压榨出的算力比起机房里成群结队的顶级专业显卡，差距依然非常悬殊。

为什么重要

对普通用户和开发者来说，端侧运行大模型最大的意义就是零成本和隐私安全。如果语音助手完全在本地回答你的日程、处理邮件，你不需要每月掏订阅费，也不用担心自己的私密数据被上传到别家服务器上拿去训练。虽然 2024 年才能落地，但这件事给应用开发者指了一条明路，不用再被昂贵的 API 账单卡死脖子。

对行业来说，高通和 Meta 的联盟直接把战火从云端算力烧到了终端芯片。这会倒逼联发科、苹果以及微软加快端侧 AI 架构的跟进步伐，让大模型的竞争从单纯拼参数规模，转向拼边缘压缩和能效比。

我们认为高通这一步走得相当务实。在云端算力市场正面硬刚英伟达几乎没有胜算，但高通在移动终端拥有现成的出货量护城河。不过隐患也很明显，手机端大模型的实际体验究竟是真可用，还是像早期本地跑画图工具那样慢得让人抓狂，全看高通明年的能效优化到底能做到什么程度。