跳到正文
IFAI

產業動態

高通押注端側生成式 AI:新一代旗艦晶片 10 月登場,明年進高階手機

首次發布 傳播指數 35

高通透露正把生成式 AI 做進下一代旗艦晶片,將於 10 月底夏威夷峰會亮相。端側執行讓使用者資料無需傳上雲端,離線可用且省去昂貴的伺服器開銷。最值得關注的是,高通預計明年高階 Android 手機就能在本地跑起百億引數模型。

高通押注端側生成式 AI:新一代旗艦晶片 10 月登場,明年進高階手機
圖:cnet.com

把 ChatGPT 塞進手機這事,大多數人現在的用法依然是開啟瀏覽器,或者點開一個要聯網的 App。哪怕你只是想改張圖或者潤色兩句簡訊,資料也得先往遠處的機房跑一趟。

高通打算打破這個規矩。8 月 25 日,CNET 報道稱,高通正在把生成式 AI 直接做進下一代旗艦晶片裡。按計劃,高通將在 10 月底夏威夷舉辦的年度峰會上正式公佈這些方案,搭載這套晶片的高階安卓機明年就會上市。

算力在本地,省錢還不用等網

高通產品管理高階副總裁 Ziad Asghar 把手機端側 AI 稱為「聖盃」。他的邏輯很直接:手機知道你的一切習慣,包括行車路線、搜過的餐館和剛拍的照片。端側 AI 能直接拿到這些本地資料,生成的結果會比雲端模型千篇一律的回答貼切得多。

隱私和速度也是顯而易見的好處。查詢都在本地跑,資料不需要傳去遠端伺服器,在飛機上開啟飛航模式或者沒訊號的地方照樣能幹活。

但這事背後更大的推手其實是算力成本。今年 4 月有估算稱,OpenAI 每天光是維持舊版 GPT-3 執行 ChatGPT 就要花掉大約 70 萬美元,更復雜的 GPT-4 規模化運營成本只會更高。端側方案則是讓使用者手機裡的晶片去承擔這些運算。Techsponential 分析師 Avi Greengart 指出,在手機上跑 AI 實際上是免費的,因為買手機時就已經把算力錢付過了。

今年 2 月的巴塞羅那 MWC 上,高通就拿搭載驍龍 8 Gen 2 的安卓手機現場跑過 Stable Diffusion 影像生成模型。Asghar 透露,高通實驗室目前已經能讓手機晶片跑動 70 億引數的模型,雖然遠低於 GPT-3 的 1750 億引數,但應對單人手機場景已經夠用。旗艦晶片未來甚至可能支撐 100 億以上引數的模型,而中低端晶片則會做階梯式的降級適配。

為了兼顧續航,這些模型主要放在高通驍龍晶片的 Hexagon 處理器和 NPU 上執行。Asghar 提到,MWC 上演示了一整天,演示機電池沒被抽乾,機身摸起來甚至都不發燙。

從動嘴改圖到虛擬助手

端側生成式 AI 落地後能幹什麼?高通給出的構想不止是修圖。你可以動動嘴讓它把自拍照的背景換成威尼斯運河,也能讓多個模型像流水線一樣串聯工作。

比如語音識別先把你的話轉成文字,傳給影像模型,再結合 Meta 之前開源的 Llama 2 等第三方大語言模型,驅動虛擬人臉做出逼真的嘴型並用語音念出來。這時候你面對的就不再是一個文本框,而是一個能即時對話的虛擬助手。

高通還不打算只把這套能力侷限在手機上。10 月底的峰會上,他們還會公佈面向 PC 和汽車座艙的方案。在汽車裡,它能模仿經典美劇《霹靂遊俠》裡的智慧車夥伴基特;在辦公時,它能在視訊會議裡自動生成虛擬背景,替你做會議紀要並整理成 PPT。

當然,軟體生態怎麼跟進依然是未知數。Recon Analytics 分析師 Roger Entner 認為,在開發者真正把這些能力做進第三方 App 之前,它最先解決的還是修補瑕疵照片、生成社交濾鏡和最佳化輸入法自動糾錯這些日常痛點。

為什麼重要

把百億引數模型搬上手機,看起來是一場對雲端大模型壟斷的突圍。對使用者來說,這意味著你終於不需要為每一次簡單的潤色或修圖承擔斷網失聯的風險,也不用把自己的私人相簿和定位拱手打包傳給大公司的伺服器。如果在飛機上或者地下車庫裡就能流暢用上 AI 助手,這種體驗的提升是實打實的。

對手機晶片和終端廠商而言,高通這一步走得相當敏銳。過去幾年手機晶片的常規效能早已嚴重過剩,光跑分很難打動消費者換機;把大模型裝進端側,給明年售價昂貴的旗艦機找到了最現成的賣點。同時,它也對老對手蘋果構成了現實壓力,蘋果雖然在輸入法裡換上了 Transformer 架構並傳出在內測「Apple GPT」,但高通藉著聯手 Meta 的開源生態搶先定下了端側落地的基調。

不過我們認為,端側 AI 到底值不值得立刻買單,關鍵還得看第三方開發者的跟進意願。70 億引數雖然能跑,但比起雲端超大模型,它的推理深度和準確率肯定有所縮水;如果只是用來最佳化相簿濾鏡或生成兩頁彙報摘要,普通人感知到的價值可能會大打折扣。手機散熱和電池能否長期扛住高負荷推理,也只有等明年第一批次產機出爐後才能見分曉。

來源 (1)

  1. [1]
    cnet.com(在新分頁開啟)原文cnet.com

話題追蹤高通移動端生成式 AI 戰略

這個話題的歷次新聞,最新的在上面。

  1. 高通驍龍 8 Gen 3 規格曝光:專為生成式 AI 打造,支援 INT4
  2. 高通押注端側生成式 AI:新一代旗艦晶片 10 月登場,明年進高階手機本則

每日 AI 內容精選