跳到正文
IFAI

AI工具

Google 低調上線 AI Edge Gallery:手機直接離線跑大模型

首次發布 傳播指數 40

上週,Google 低調上線實驗性應用 Google AI Edge Gallery,允許使用者在 Android 手機上離線下載並執行來自 Hugging Face 的開源模型。它包含影像問答、對話與 Prompt Lab 除錯功能,所有計算均在端側完成,後續還將支援 iOS。

Google 低調上線 AI Edge Gallery:手機直接離線跑大模型
圖:techcrunch.com

想在手機上玩各種開源大模型,以前你得自己折騰編譯環境,或者把資料一股腦傳給雲端伺服器。現在 Google 打算把這件事變簡單。

Google 悄悄推出了一款名為 Google AI Edge Gallery 的應用。它能讓你直接在 Android 和 iOS 手機上,甚至 macOS 上,下載並完全離線執行來自 Hugging Face 等平臺的開源模型。

應用基於 Apache 2.0 協議開源,底層靠 Google 的 LiteRT 執行時驅動。所有計算都直接呼叫手機本地晶片,不需要聯網,也不用擔心隱私資料被傳到遠端機房。

手機端的大模型百寶箱

開啟應用,主介面直接給出了各種任務入口,不像傳統測試工具那樣只留一個冷冰冰的對話方塊。

針對常見需求,它提供了「AI Chat」對話模式,支援本地語音識別和語音朗讀,直接開口就能跟模型聊天。「Ask Image」支援多模態識圖,可以直接給身邊的物體拍照提問。

新版本還引入了剛剛釋出的 EmbeddingGemma 2 模型,支援全本地的語義搜尋。應用裡對應的功能包括「即時媒體搜尋」和「影片片段查詢」,可以用自然語言直接在本地相簿或影片裡搜出對應的瞬間,全程不用聯網。

如果你是開發者或進階玩家,應用裡還有「Prompt Lab」,可以調節溫度值和 top-k 等引數,快速測試單輪提示詞效果。它甚至還內建了一個叫「Tiny Garden」的趣味小遊戲,以及利用 FunctionGemma 270m 微調版控制手機本地操作的「Mobile Actions」實驗功能。

效能方面,Google 提示最終表現取決於裝置算力。比如用 Gemma 3n 這樣的大尺寸模型處理複雜影像任務,耗時自然會比輕量模型更長。系統要求方面,需要 Android 12 或 iOS 17 以上版本。

為什麼重要

對普通使用者和開發者來說,這款應用最大的價值在於把本地 AI 的門檻降到了最低。以前在手機上部署端側模型是極客的專屬操作,現在普通人也能一鍵下載體驗,敏感檔案、私人照片不用離開手機就能完成分析。

對行業而言,這是 Google 在端側 AI 生態上的一次重要卡位。雲端大模型算力成本高昂,把日常推理任務推向終端裝置已經成為巨頭們的共識。Google 藉助自家 LiteRT 和輕量級 Gemma 系列模型,試圖在移動晶片上搶先建立開發者事實標準。

我們認為,Google 把這款工具以 Apache 2.0 完全開源是步聰明的棋。它沒有把自己侷限在 Pixel 手機的軟硬體壁壘裡,而是同時向 Android、iOS 和 macOS 開放,甚至直接打通了 Hugging Face 生態。這種開放姿態能快速吸引社群開發者幫其測試硬體適配邊界。

不過隱患依然在於移動端硬體的物理極限。大模型的發熱和掉電速度在移動裝置上始終是個嚴峻考驗,如果普通手機跑兩輪推理就嚴重發燙或降頻,大眾使用者的嚐鮮熱情很容易迅速冷卻。

來源 (2)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com
  2. [2]
    github.com(在新分頁開啟)報導github.com

每日 AI 內容精選