跳到正文
IFAI

大模型

Elorian 釋出視覺推理模型 Glimpse:像人一樣放大看細節

首次發布 傳播指數 50

由前 Gemini 與蘋果 MM-1 研究員創辦的 Elorian 釋出首款模型 Glimpse,開放 API 和聊天測試。它不把圖片當死記硬背的文本,而是在推理中通過「視覺草稿空間」隨時放大裁剪、抽取影片幀複查。評測顯示其科學圖表推理甚至超過了 GPT-6 Astra。

Elorian 釋出視覺推理模型 Glimpse:像人一樣放大看細節
圖:techcrunch.com

如果你讓現在的頂尖多模態模型看一張剛下完的複雜桌遊照片,問它誰贏了,它大機率會開始胡說八道。明明圖片裡全是棋子、卡牌和計分標誌,大人一眼就能看明白,AI 卻像是睜眼瞎。

由前 Google DeepMind 研究員 Andrew Dai 創辦的 AI 初創公司 Elorian,正式釋出了旗下首款視覺推理模型 Glimpse。這家在產品釋出前就拿到 5500 萬美元種子輪、估值高達 3 億美元的團隊,決定推翻目前多模態模型「看一眼就全憑記憶背誦」的壞習慣。

Glimpse 目前已經上線了研究預覽版,同時開放了 API 介面和網頁聊天介面。

給模型一張隨時能放大的草稿紙

現在絕大多數所謂的多模態大模型,看圖的邏輯其實很死板:把整張圖片一次性切成 token,然後就只在文字世界裡推理。這就像讓你看一眼案發現場,把照片收走,然後全憑記憶去推斷兇手是誰。

Elorian 團隊的核心成員來自 Google Gemini 和蘋果 MM-1 專案。在他們看來,真正的視覺理解必須允許「回頭看」。

為此,他們給 Glimpse 設計了一套名為「視覺草稿空間」的機制。模型在思考的過程中,只要發現拿不準的地方,隨時可以調出原圖,裁切區域性放大,或者從影片裡單獨抽出一幀細看,甚至能自動跑一小段程式碼來測量長寬、比對顏色。就像我們看手機相簿遇到字看不清時,下意識用兩根手指捏合放大一樣。

Andrew Dai 說,這個靈感部分來自他的真實經歷。去年他和朋友玩完桌遊拍照問大模型勝負,模型根本看不懂那些特殊的圖示和符號。人類不用看字就能照著宜家圖紙拼傢俱,AI 沒理由做不到。

幾百張顯示卡練出的價效比小鋼炮

雖然在推理中放大裁剪並非絕對的新鮮事,OpenAI 在 2025 年的 o 系列裡也加過類似動作,但 Elorian 的做法是完全圍繞這個機制來架構整個模型。

最讓人意外的是成本和體積。Elorian 透露,他們只用了一個小團隊,在幾百張 GPU 上就完成了 Glimpse 的訓練。模型的引數體積遠小於它對標的頂尖模型。

在定價上,Glimpse 走的是中間路線。輸入每百萬 token 0.60 美元,輸出每百萬 token 3 美元。這個價格比 Claude Sonnet 和 GPT-5.6 Sol 便宜不少,比輕量級的 Haiku 或 Luna 稍貴。

但在官方測試裡,這個小模型在科學圖表推理和短影片描述任務上,成績直接壓過了 GPT-6 Astra,在複雜的幾何計數和視覺謎題上也展現出極強的推理能力。

目前 Elorian 背後站著豪華的投資陣容,包括 Striker Venture Partners、Menlo Ventures 和 Altimeter Capital,甚至輝達和 Google 首席科學家 Jeff Dean 也參與了投資。

為什麼重要

我們認為,Glimpse 的思路給多模態技術敲了個醒:之前大家都在拼命往模型裡堆引數、塞幾十萬的上下文,試圖讓模型一眼記住整張超高畫質大圖,這本身就很浪費算力。

把「看」和「想」拆開,讓模型學會主動調焦、區域性反查,不僅大幅降低了訓練和推理成本,也讓幾百張 GPU 的小團隊有了在垂直視覺任務上叫板巨頭頂尖模型的能力。對於經常要處理專業圖表、電路板走線、醫療影像以及影片監控的開發者來說,這類帶有主動視覺回溯能力的模型,實用性遠高於那些只會大而化之描述畫面的大模型。

Elorian 把第一批目標盯準了坐擁海量影片的公司,比如科研實驗室、媒體機構和機器人公司。他們的終極野心顯然不在於聊聊天,而是讓模型直接去控制物理世界的機器人。如果一個 AI 連宜家圖紙都看不懂,它自然不可能幫你組裝桌子。

不過,目前的評測大多來自官方公佈的資料,在面對現實世界更雜亂的光影和動態干擾時表現如何,還需要第三方開發者在 API 上深入實測。但至少它證明了一條路:讓 AI 真正學會用眼睛思考,不一定非要燒掉幾萬張 H100。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選