跳到正文
IFAI

开源项目

阿里开源视觉语言模型 Qwen-VL:看图解题,还能讲故事

首次发布 传播指数 48

周五,Alibaba 开源两款视觉语言模型 Qwen-VL 与 Qwen-VL-Chat。模型支持更高分辨率的图像读取,能识别街标指路、根据照片解数学题,甚至串联多张图讲故事。开发者可以直接在魔搭社区和 Hugging Face 下载并做微调。

阿里开源视觉语言模型 Qwen-VL:看图解题,还能讲故事
图:finance.yahoo.com

Qwen-VL 和 Qwen-VL-Chat 是 Alibaba 刚开源的两款视觉语言模型,能直接看懂图片并用自然语言回答问题。

和纯文本对话模型不同,它们把视觉信息和语言处理接在了一起。你可以直接给它喂一张或多张图片,让它理解画面内容、提取细节,甚至完成跨图的多步推理。

它能做什么

基础版的 Qwen-VL 是一个图像理解底座,主要提升了对高分辨率图片的读取能力,看图更清晰,识别细节更准。

面向对话和交互的 Qwen-VL-Chat 则支持更复杂的日常任务。比如随手拍一张医院里的中文指路牌,它能识别文字并翻译成英文,帮外国患者指明路线。

它还能拍下书本上的数学公式直接解题,或者帮你给新闻照片写一段准确的新闻配图说明。

更实用的是跨图理解能力。你可以一次性给它传几张连贯的照片,它能理清先后逻辑,把它们串成一个完整的故事。

在无障碍场景下,它也能充当视障人士的眼睛。视障用户在超市里扫一下商品,它就能把包装上的标签和成分读出来。

怎么跑起来与开放程度

这两款模型都是基于本月早些时候放出的开源语言模型 Qwen-7B 和 Qwen-7B-Chat 构建的,等于给开源大语言模型加上了视觉感知能力。

Alibaba 已经把它们开放出来,开发者可以在阿里云的魔搭社区(ModelScope)以及 Hugging Face 上直接下载代码与模型权重。

因为是完全开源,你不需要从零去训一个昂贵的多模态大模型,可以直接拿到本地或云端做特定任务的微调,开发自己的看图问答应用。

为什么重要

开源社区一直缺好用的多模态看图模型。之前大多数开源项目还停留在纯文本生成上,想做图文混排、图片问答,往往只能等闭源 API,或者自己拼凑小模型。

我们认为,Qwen-VL 的开源把多模态门槛大幅拉低了。如果你在做视觉无障碍、文档识别、电商图文检索或者特定垂直场景的图像助手,现在可以直接拿现成的开源权重调优。

不过,要在实际业务里落地,多图上下文的稳定性和复杂数学题的推导准确度依然需要开发者自己在真实数据上压测验证。

来源 (1)

  1. [1]
    finance.yahoo.com(在新标签页打开)原文finance.yahoo.com

每日 AI 内容精选