跳到正文
IFAI

AI工具

Google 低调上线 AI Edge Gallery:手机直接离线跑大模型

首次发布 传播指数 40

上周,Google 低调上线实验性应用 Google AI Edge Gallery,允许用户在 Android 手机上离线下载并运行来自 Hugging Face 的开源模型。它包含图像问答、对话与 Prompt Lab 调试功能,所有计算均在端侧完成,后续还将支持 iOS。

Google 低调上线 AI Edge Gallery:手机直接离线跑大模型
图:techcrunch.com

想在手机上玩各种开源大模型,以前你得自己折腾编译环境,或者把数据一股脑传给云端服务器。现在 Google 打算把这件事变简单。

Google 悄悄推出了一款名为 Google AI Edge Gallery 的应用。它能让你直接在 Android 和 iOS 手机上,甚至 macOS 上,下载并完全离线运行来自 Hugging Face 等平台的开源模型。

应用基于 Apache 2.0 协议开源,底层靠 Google 的 LiteRT 运行时驱动。所有计算都直接调用手机本地芯片,不需要联网,也不用担心隐私数据被传到远端机房。

手机端的大模型百宝箱

打开应用,主界面直接给出了各种任务入口,不像传统测试工具那样只留一个冷冰冰的对话框。

针对常见需求,它提供了「AI Chat」对话模式,支持本地语音识别和语音朗读,直接开口就能跟模型聊天。「Ask Image」支持多模态识图,可以直接给身边的物体拍照提问。

新版本还引入了刚刚发布的 EmbeddingGemma 2 模型,支持全本地的语义搜索。应用里对应的功能包括「即时媒体搜索」和「视频片段查找」,可以用自然语言直接在本地相册或视频里搜出对应的瞬间,全程不用联网。

如果你是开发者或进阶玩家,应用里还有「Prompt Lab」,可以调节温度值和 top-k 等参数,快速测试单轮提示词效果。它甚至还内置了一个叫「Tiny Garden」的趣味小游戏,以及利用 FunctionGemma 270m 微调版控制手机本地操作的「Mobile Actions」实验功能。

性能方面,Google 提示最终表现取决于设备算力。比如用 Gemma 3n 这样的大尺寸模型处理复杂图像任务,耗时自然会比轻量模型更长。系统要求方面,需要 Android 12 或 iOS 17 以上版本。

为什么重要

对普通用户和开发者来说,这款应用最大的价值在于把本地 AI 的门槛降到了最低。以前在手机上部署端侧模型是极客的专属操作,现在普通人也能一键下载体验,敏感文件、私人照片不用离开手机就能完成分析。

对行业而言,这是 Google 在端侧 AI 生态上的一次重要卡位。云端大模型算力成本高昂,把日常推理任务推向终端设备已经成为巨头们的共识。Google 借助自家 LiteRT 和轻量级 Gemma 系列模型,试图在移动芯片上抢先建立开发者事实标准。

我们认为,Google 把这款工具以 Apache 2.0 完全开源是步聪明的棋。它没有把自己局限在 Pixel 手机的软硬件壁垒里,而是同时向 Android、iOS 和 macOS 开放,甚至直接打通了 Hugging Face 生态。这种开放姿态能快速吸引社区开发者帮其测试硬件适配边界。

不过隐患依然在于移动端硬件的物理极限。大模型的发热和掉电速度在移动设备上始终是个严峻考验,如果普通手机跑两轮推理就严重发烫或降频,大众用户的尝鲜热情很容易迅速冷却。

来源 (2)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com
  2. [2]
    github.com(在新标签页打开)报道github.com

每日 AI 内容精选