跳到正文
IFAI

大模型

QwenLM 发布 QVQ-Max:给多模态大模型装上深度推理引擎

首次发布 传播指数 50

QwenLM 正式发布视觉推理模型 QVQ-Max 的首个版本。该模型不仅能解析图像与视频,还能展开深入推理;在 MathVision 评测中,延长思考过程能持续提升解题准确率。团队计划后续引入定位技术,并逐步将其拓展为能操作手机与电脑的视觉智能体。

以前给大模型发一张几何题的图,它往往把上面的字母认全了,转头却算出个离谱的答案。说白了,以前的视觉模型只是个「报菜名」的录入员,能看清,但不会想。

通义千问团队在去年 12 月试水过一款探索性质的 QVQ-72B-Preview,当时团队自己也承认存在不少毛病。3 月 27 日,团队正式推出了第一版视觉推理模型 QVQ-Max,把重点放在了「看着证据来思考」上。

思考时间越长,做题越准

QVQ-Max 不只是能识别图片里的东西,它最大的变化是把视觉信号放进推理链条里。

在 Multimodal 领域专门考高难度数学题的基准测试 MathVision 上,通义团队做了一个测试:通过拉长模型的最大思考过程长度,QVQ-Max 在该基准上的准确率呈现出持续上升的趋势。这说明给它留出充足的思考推理步骤,它就能对着图表推演出更复杂的逻辑。

除了看懂静止的图片和复杂图表,QVQ-Max 还能处理视频片段,比如根据当前正在发生的画面,推测下一秒可能会发生什么。

在实用场景上,团队展示了几个方向:学生可以用它解带几何图形的数理难题;职场人可以让它看图表做数据分析和辅助写代码;甚至丢给它一张草图,它能帮你补充完善成完整作品,或者根据衣柜照片给出穿搭建议。

下一步要当屏幕操作员

通义团队很坦白地表示,目前的 QVQ-Max 只是第一个初始版本,后面还有好几道坎要过。

接下来的优化重点包括引入 Grounding 技术,也就是给视觉定位打上锚点,反复验证视觉观察到的细节到底对不对,从而减少看错看漏的情况。

更有意思的是,团队明确将未来的方向指向了「视觉智能体(Visual Agent)」。他们计划让模型处理多步骤的复杂操作,比如直接看懂手机和电脑屏幕来替用户操作设备,甚至拿去玩游戏。交互方式也不会停留在打字,后续会接入工具调用验证和图像生成能力。

为什么重要

我们认为,QVQ-Max 的推出标志着大模型的「长考」机制正式全面渗透到了视觉领域。

之前 OpenAI 的 o1 系列把文本链条的推理时间拉长、换取准确率提升,但行业在多模态上一直缺一个同样成熟的范式。QVQ-Max 在 MathVision 上的表现证实了:只要给视觉模型足够的思考预算,它看图解复杂逻辑的能力就能成比例增长。这对需要看工程图纸、读财务报表、拆解复杂流程图的专业用户来说,价值远大于单纯生成一段漂亮的描述。

不过隐患也同样摆在眼前。看图推理比纯文本推理消耗的算力高得多,拉长思考时间意味着延迟和调用成本都会水涨船高。而且第一版模型尚未解决完全精准的定位锚定,一旦在第一步把图纸上的关键数字看错,后面想得再深也是南辕北辙。现在拿来当学习辅导或者头脑风暴助手很合适,但真要放进全自动流程甚至让它代操屏幕,显然还需要等后续版本的验证。

来源 (1)

  1. [1]
    qwenlm.github.io(在新标签页打开)原文qwenlm.github.io

每日 AI 内容精选