跳到正文
IFAI

开源项目

开源视觉决策模型 Valen:看图直接打分,做智能体「快反射」

首次发布 传播指数 48

Valen-Team 开源轻量多模态决策模型 Valen。它将 System One 决策思路扩展到视觉领域,基于 Qwen3.5 提供 0.8B、2B 和 4B 版本,输入图文或视频后直接对候选动作打分并输出概率,单步决策仅需百毫秒出头,专为智能体的高频反射场景设计。

Valen 是一个开源的轻量多模态决策模型,它不做慢吞吞的文本生成,而是直接看图、看视频或看文本,在给定的候选动作上直接打分并输出概率分布。

在目前大多数智能体架构里,让大模型看图往往要经历完整的自回归生成,既费时又费显存。Valen 针对的是所谓的「System One」快反射机制,专门处理高频、琐碎且要求极快的判断场景。

它能做什么

Valen 支持文本、静态图片以及视频输入。用户在输入状态的同时传入任务指令与候选选项,模型会输出结构化的概率值,而不是一段自然语言废话。

它原生支持三类问题形态。第一种是断言判定,判断某个状态是否成立并给出零到一的概率。第二种是多选决策,直接给候选列表里的每一项分配概率。第三种是等级打分,根据给定的描述等级计算出加权分值和置信度。

这种机制非常适合高频的智能体场景。比如 GUI Agent 判断当前屏幕上弹出了什么窗口、该点哪个按钮;游戏 Agent 在推箱子、走迷宫或跑酷游戏里实时决定下一步移动;或者巡检机器人看到前方障碍物后,在停下、绕行和推开之间瞬间做选择。

团队还给出了工单分流的用法。在候选选项里加上「以上皆非」后,系统能自动过滤超范围诉求并转交人工审核,在两百个测试工单中将错误自动放行的案例从八起降到了一起。

怎么做到的与如何跑起来

Valen 底层基于 Qwen3.5 构建,结合 Mixer 架构与共享状态推理,并在数百万条样本上完成了监督微调(SFT)。

官方提供了 0.8B、2B 和 4B 三种参数尺寸。得益于不需要生成长文本,官方测试显示单步决策耗时大约在 122 到 128 毫秒之间,四个对局并行决策可以在 1.24 秒内完成。

项目在生态接入上给得非常齐全。模型权重已经开源在 Hugging Face,同时提供了 ONNX 运行时和针对 llama.cpp 与 Ollama 修改的 GGUF 格式。对于生产部署,官方支持 vLLM 和 SGLang 容器化镜像,直接暴露标准的决策 API 端点。

想快速测试的开发者不需要先配 GPU。项目提供了一个免鉴权的公共 API 端点与网页端 Demo,几行 Python 代码就能跑通一次调用。团队还顺手发布了适用于 Claude Code 和 Cursor 等编码助手的 Skill 插件,甚至在 Python SDK 里内置了对比方法,方便直接拿自家结果去跟 GPT、Claude 或 Gemini 对齐。

为什么重要

如果你正在开发 GUI 自动化脚本、小车机器人或者游戏智能体,Valen 值得你立刻拿来替换掉管线里的部分轻量判断环节。以前为了判断一个按钮能不能点,调用多模态大模型既贵又动辄卡上一两秒,而规则代码又不够泛化;Valen 这种把感知直接映射到选项概率的做法,刚好补齐了高频反射层的空缺。

我们认为把决策与文本生成彻底剥离是非常务实的路线。它的限制也很明显:它只能在预先给定的候选动作里打分,没法应对开放式创造。但这正是 System One 的本意,让小模型专心做毫秒级的条件反射,把耗时的规划留给后面的大模型,智能体的工程架构才会真正变轻。

来源 (1)

  1. [1]
    github.com(在新标签页打开)原文github.com

每日 AI 内容精选