跳到正文
IFAI

AI工具

Meta Ray-Ban 眼鏡上線多模態 AI:看一眼就能識別眼前物體

首次發布 傳播指數 40

Meta 開始向第二代 Ray-Ban 智慧眼鏡推送多模態 AI 測試版,使用者只要說「Hey, Meta, look」,眼鏡就會拍照並通過生成式 AI 解讀眼前的物體。最值得關注的是,眼鏡把視覺與語音問答結合到了日常佩戴體驗中。不過目前處於早期測試階段,每次識別都需要拍照且偶有幻覺。

Meta Ray-Ban 眼鏡上線多模態 AI:看一眼就能識別眼前物體
圖:cnet.com

戴著墨鏡看一眼桌上的茶包,問一句「哪包沒有咖啡因」,耳朵裡立刻傳來聲音告訴你選洋甘菊。甚至不用掏手機,AI 就把你看的東西給看明白了。

Meta 之前承諾要到 2024 年才上線的這套多模態 AI,提前開始推送給第二代 Ray-Ban 智慧眼鏡的早期測試使用者。除了看圖,這次更新還順手接入了微軟必應搜尋,直接用語音就能查即時資訊。

拍張照片,讓 AI 替你掃一眼

這套功能現在的用法其實很直接,本質上就像在臉上掛了一個能聽懂話的相機。

你必須對著眼鏡說固定句式,比如「Hey, Meta, look and tell me…」,讓它辨認植物、看食材給菜譜,或者給眼前的玩偶寫個發社交平臺的搞笑文案。

話音剛落,眼鏡會咔嚓響一聲快門,接著停頓幾秒鐘。等雲端的生成式 AI 讀完這張照片,就會直接通過鏡腿上的揚聲器把答案讀給你聽。

眼鏡拍下的每一張圖和 AI 給出的文字回答,都會同步存進手機上的 Meta View 應用裡,方便你回頭翻看,就像一份隨手記的視覺筆記。

不過目前它還沒做到即時影片流分析,主要原因還是功耗。Meta 技術長 Andrew Bosworth 之前透露過,現在必須靠語音喚醒去拍照,是為了防止把眼鏡電池快速耗光,未來他們的目標是換用極低功耗感測器,由環境事件自動觸發 AI。

離真正好用,還差幾次版本迭代

既然是早期測試版,小毛病自然少不了。最明顯的問題就是幻覺,而且有時候讓人哭笑不得。

比如在測試一碗水果時,它準確認出了橙子、香蕉、火龍果和蘋果,卻硬生生編出了一個根本不存在的石榴。

面對一扇窗戶前的大熊貓玩偶,讓它寫條文案,它寫出的內容居然是「一個人孤獨地看著手機」,完全對不上眼前的畫面。

語言理解也有點神經刀。看一份西班牙語選單時,問它哪些是辣菜,它能精準翻譯出關鍵配料;但如果緊接著問哪些菜帶肉,它又直接把所有西班牙語菜名原封不動念了一遍。

另外就是隱私問題。Meta 在這個早期測試階段會收集匿名化的查詢資料來改進模型,雖然眼鏡上有拍照提示,但怎麼讓周圍的人和佩戴者自己都放心,依然是個麻煩事。

為什麼重要

我們認為,Meta 這一步最聰明的地方在於選對了載體和價位。相比 Humane 剛釋出的 AI Pin 那種又貴還要吸在衣服上的新物種,第二代 Ray-Ban 本身就是一副只要 300 美元、在貨架上隨時能買到的體面墨鏡。

對普通使用者來說,它現在值不值得特意買來當 AI 助手?坦白講,如果你期待的是《鋼鐵俠》裡賈維斯那種無所不知的隨身助手,現階段肯定會失望。幾秒的快門延遲、偶爾的胡言亂語,加上每次都要念咒語一樣的指令,體驗還談不上絲滑。

但作為一副本來就要戴的眼鏡,它順手附帶了一個能識別眼前物體的外腦,在逛街認植物、看外語選單或者輕度視力輔助時,確實比頻繁掏手機開攝像頭要自然得多。

更重要的是,它給整個可穿戴裝置打了個樣。智慧眼鏡爭論了這麼多年要不要裝螢幕,Meta 現在的做法等於證明了一條更現實的路:去掉耗電又笨重的顯示器,只靠攝像頭抓取畫面、耳機傳回聲音,多模態 AI 就已經能在現實生活中派上用場了。

來源 (1)

  1. [1]
    cnet.com(在新分頁開啟)原文cnet.com

話題追蹤Meta 智慧眼鏡的 AI 整合

這個話題的歷次新聞,最新的在上面。

  1. Ray-Ban Meta 眼鏡升級:新增復古框型,多模態 AI 能看懂眼前景物
  2. Ray-Ban Meta 迎來 Version 2.0:相機音量小修小補,AI 識圖仍缺席
  3. Meta Ray-Ban 眼鏡上線多模態 AI:看一眼就能識別眼前物體本則
  4. Meta AI 全面升級:眼鏡能看懂眼前事物,獨立生圖網站上線
  5. Meta 推出新一代 Ray-Ban 智慧眼鏡:內建 AI 助手,售價 299 美元起

每日 AI 內容精選