Google 预热多模态 AI 界面：手机镜头实时看懂周围，对标 GPT-4o

OpenAI 刚把 GPT-4o 端上桌，还在炫耀实时音视频多模态交互，Google 转头就在社交平台上甩出了一段预告。

距离 Google I/O 2024 开幕只剩不到一天，这场反击来得几乎没有时差。

举起手机，AI 就看懂了舞台搭建

Google 在 X 上发布的这段视频很短，但意图非常明显。

画面里是一台运行着全新 AI 界面的 Android 手机，界面风格看起来和 Pixel 的相机应用颇为相似。

测试人员拿着手机对准周围的环境提问，镜头正对着正在施工布置的 Google I/O 主会场。

手机里的 AI 助手不仅立刻看懂了工人们正在搭建活动现场，还认出了现场的 Google I/O 标志，顺畅地介绍起这场开发者大会的背景信息。

在此之前，Gemini 已经能听懂语音、分析用户上传的照片或截图。但这次演示的重点在于实时视觉感知，摄像头直接变成了 AI 的眼睛。

这套交互逻辑，和之前爆火又遇冷的 Humane AI Pin 以及 Rabbit R1 想做的事几乎一模一样，只不过 Google 把它直接塞进了人手一台的手机里。

当然，这目前还只是一段预录制的演示视频，实际响应速度和识别成功率如何，依然要打个问号。

至于这个界面最终是会直接整合进 Gemini，还是变成一个独立应用，甚至彻底替换掉老旧的 Google Assistant，Google 还没给出明确答案，只表示会在 I/O 主题演讲上公布搜索和 AI 的最新进展。

为什么重要

在 OpenAI 亮出底牌不到 24 小时之内，Google 就亮出同类功能，我们认为这说明多模态助手的技术路线两家早就想一块儿去了。

对普通用户来说，AI 助手的交互门槛彻底变了。以前你需要想好 Prompt、拍照、上传、等待分析，现在只要举起手机说话就行。如果这项功能能稳定下放到 Android 系统中，用户根本不需要花几百美元去买 Humane AI Pin 这类半成品独立硬件。

对行业而言，端侧的多模态交互正在变成巨头标配。OpenAI 抢先一天发布 GPT-4o 显然是有意截胡，但 Google 最大的杀手锏不是模型本身，而是 Android 生态庞大的设备装机量。

不过，两家目前拿出来的演示都还停留在精挑细选的视频里。看起来很惊艳，但实时调用摄像头和音频模型对手机算力、发热和电池续航都是巨大的考验。能不能真正跑在日常场景里，就看接下来的实际落地表现了。