苹果公布 ReALM 模型：把屏幕转成文本，端侧干翻 GPT-4

对着手机屏幕说一句「打给这家店」，大部分语音助手多半会愣住，问你到底要打给谁。

因为它们虽然能听懂你的话，但眼睛根本没在看你的屏幕。为了解决这个问题，Apple 的研究人员公布了一套名为 ReALM 的 AI 系统。

这套系统最厉害的地方，是参数量比 GPT-4 小得多，但在理解屏幕内容的任务上，大号的 ReALM 表现大幅超过了 GPT-4。

把屏幕翻译成文本，端侧就能跑

一般的多模态大模型想看懂屏幕，通常需要把整张屏幕截图喂进去跑图像识别，又慢又吃算力，根本没法塞进手机本地运行。

ReALM 换了个极其讨巧的思路。它完全不用笨重的视觉识别，而是把屏幕上的按钮、文字和布局信息直接编码重构成了纯文本。

也就是说，ReALM 是把屏幕当成一段文字来读的。这样一来，它不仅能结合当前屏幕内容，还能顺带兼顾后台正在运行的任务，而且运算负担极小，天生适合在设备端本地跑。

测试中，即便 GPT-4 拿到了完整的屏幕截图，而 ReALM 只读文本编码，ReALM 的表现依然能打个平手，更大的模型甚至直接超越了 GPT-4。

在对话数据、合成数据以及没见过的测试集上，ReALM 击败了以往的基准模型。面对完全陌生的领域，它和 GPT-4 水平相当；但在特定领域的查询上，因为针对用户真实请求做过微调，ReALM 对意图细节的把握明显比 GPT-4 更好。

不过研究人员也承认它有局限。虽然它记录了实体的大致位置，但如果遇到需要极复杂空间几何关系的复杂指令，它可能抓不全所有细节。

为什么重要

我们认为，ReALM 的核心价值不在于打榜赢了 GPT-4，而在于它给真正的「屏幕级 Agent」找到了一条能在手机本地跑通的极简路径。

对用户来说，未来的 Siri 如果真整合了这项能力，交互体验会彻底质变。你再也不用费劲复制粘贴电话号码、商品名字或取件码，看到什么直接说「买这个」「导航去这里」就行。

对行业而言，这一步走得相当聪明。很多大模型厂商还在硬堆多模态视觉参数，苹果上个月刚收购了 DarwinAI，手头还有 MM1 模型和图像工具，它的思路始终是把模型压小、扔进端侧。

把图像问题转化成文本问题，既省电又保隐私，还绕开了端侧芯片算力不足的死穴。看起来，苹果并不急着做一个无所不知的聊天机器人，而是要给自家硬件装上最懂手机界面的神经末梢。