跳到正文
IFAI

大模型

阿里发布全模态模型 Qwen3.5-Omni:对着镜头说话就能写网页

首次发布 传播指数 53

阿里 Qwen 团队发布原生全模态模型 Qwen3.5-Omni。它能同时理解文本、图像、音频和视频,主打「视听 Vibe Coding」,用户对着摄像头描述需求就能直接生成网站或小游戏。其音频表现超越 Gemini-3.1 Pro,原生支持处理 10 小时音频或 400 秒视频。

阿里发布全模态模型 Qwen3.5-Omni:对着镜头说话就能写网页
图:x.com

以前我们让 AI 写网页,得先把需求在输入框里敲成长篇大论,或者截几张图传上去反复对齐。

阿里巴巴 Qwen 团队公布了新一代原生全模态模型 Qwen3.5-Omni。有第三方报道也将其称为 Qwen3.Omni。这次团队推出的家族包括 Plus、Flash 和 Light 三个版本。

新模型最吸睛的演示是一个叫作「音视频氛围编码」(Audio-Visual Vibe Coding)的功能。你只要对着摄像头比划,嘴里描述自己的想法,Qwen3.5-Omni-Plus 就能当场直接生成一个能跑的网站或小游戏。

懂长视频,也能对标顶级选手

说白了,Qwen3.5-Omni 走的是原生统一处理文本、图像、音频和视频的路线,而不是把几个单模态小模型拼装在一起。阿里表示整个模型是在超过 1 亿小时的数据上训练出来的。

在离线长内容处理上,它能原生吃下长达 10 小时的音频,或者 400 秒的 720p 视频。它甚至能做剧本级的视频字幕解析,自动把时间戳、镜头切换点以及不同说话人是谁给梳理出来。

语言覆盖面上,它支持识别 113 种语言的语音,并且能用 36 种语言进行语音合成。

在性能对比上,官方表示它在音频理解方面超越了 Gemini-3.1 Pro,并在音视频综合理解能力上与后者打平。

实时对话开始抓细节体验

除了离线吃大文件,这次的另一大重心是实时交互。过去和语音模型聊天,最大的痛点往往是它听不懂你什么时候说完,周围有点杂音就胡乱抢话。

官方称 Qwen3.5-Omni 改进了轮替机制,能分清使用者的真实意图并过滤噪音。同时,它支持实时调节语速、音量和情绪,还内置了联网搜索和复杂的工具调用能力。

团队还准备了声音克隆功能,用一段简短的音频样本就能定制模型的声音,不过这项能力官方标注为工程化上线即将到来。目前用户已经在 chat.qwen.ai 以及 Hugging Face 演示页面体验实时语音与视频交互,阿里云百炼也同步上线了离线与实时 API。

为什么重要

对于开发者和独立创作者来说,对着摄像头边讲边改代码的体验,把原型验证的门槛降到了极低。如果你想做个小工具或简单游戏,现在不需要先写文档再转成提示词,直接拿草稿在镜头前晃一晃、嘴里念叨两句就能看到效果,确实很值得立刻去网页端上手试一下。

在行业层面,这看起来是开源与自研阵营对头部闭源模型的一次紧密贴身肉搏。长期以来,实时音视频的原生多模态一直是 Google 和 OpenAI 的主打护城河,Qwen 拿音频超越、音视频打平 Gemini-3.1 Pro 的表现直接公开叫板,会倒逼海外巨头进一步加快多模态交互的降价与开放节奏。

我们认为,阿里的做法聪明在把全模态能力落在了「氛围编码」和「精细控音」这些非常具象的刚需场景上,而不是只跑一堆抽象的分数。不过隐患也同样摆在眼前:目前原生视频输入上限还是 400 秒,处理更长的连续视频流显然还需要妥协;此外声音克隆仍在工程化落地的路上,如何兼顾实时低延迟与生成质量,真正到高并发生产环境里才是考验的开始。

来源 (1)

  1. [1]
    @Alibaba_Qwen(在新标签页打开)原文x.com

每日 AI 内容精选