蘋果公佈 ReALM 模型：把螢幕轉成文本，端側幹翻 GPT-4

對著手機螢幕說一句「打給這家店」，大部分語音助手多半會愣住，問你到底要打給誰。

因為它們雖然能聽懂你的話，但眼睛根本沒在看你的螢幕。為了解決這個問題，Apple 的研究人員公佈了一套名為 ReALM 的 AI 系統。

這套系統最厲害的地方，是引數量比 GPT-4 小得多，但在理解螢幕內容的任務上，大號的 ReALM 表現大幅超過了 GPT-4。

把螢幕翻譯成文本，端側就能跑

一般的多模態大模型想看懂螢幕，通常需要把整張螢幕截圖喂進去跑影像識別，又慢又吃算力，根本沒法塞進手機本地執行。

ReALM 換了個極其討巧的思路。它完全不用笨重的視覺識別，而是把螢幕上的按鈕、文字和佈局資訊直接編碼重構成了純文本。

也就是說，ReALM 是把螢幕當成一段文字來讀的。這樣一來，它不僅能結合當前螢幕內容，還能順帶兼顧後臺正在執行的任務，而且運算負擔極小，天生適合在裝置端本地跑。

測試中，即便 GPT-4 拿到了完整的螢幕截圖，而 ReALM 只讀文本編碼，ReALM 的表現依然能打個平手，更大的模型甚至直接超越了 GPT-4。

在對話資料、合成數據以及沒見過的測試集上，ReALM 擊敗了以往的基準模型。面對完全陌生的領域，它和 GPT-4 水平相當；但在特定領域的查詢上，因為針對使用者真實請求做過微調，ReALM 對意圖細節的把握明顯比 GPT-4 更好。

不過研究人員也承認它有侷限。雖然它記錄了實體的大致位置，但如果遇到需要極複雜空間幾何關係的複雜指令，它可能抓不全所有細節。

為什麼重要

我們認為，ReALM 的核心價值不在於打榜贏了 GPT-4，而在於它給真正的「螢幕級 Agent」找到了一條能在手機本地跑通的極簡路徑。

對使用者來說，未來的 Siri 如果真整合了這項能力，互動體驗會徹底質變。你再也不用費勁複製貼上電話號碼、商品名字或取件碼，看到什麼直接說「買這個」「導航去這裡」就行。

對行業而言，這一步走得相當聰明。很多大模型廠商還在硬堆多模態視覺引數，蘋果上個月剛收購了 DarwinAI，手頭還有 MM1 模型和影像工具，它的思路始終是把模型壓小、扔進端側。

把影像問題轉化成文本問題，既省電又保隱私，還繞開了端側晶片算力不足的死穴。看起來，蘋果並不急著做一個無所不知的聊天機器人，而是要給自家硬體裝上最懂手機介面的神經末梢。