跳到正文
IFAI

開源專案

開源視覺決策模型 Valen:看圖直接打分,做智慧體「快反射」

首次發布 傳播指數 48

Valen-Team 開源輕量多模態決策模型 Valen。它將 System One 決策思路擴充套件到視覺領域,基於 Qwen3.5 提供 0.8B、2B 和 4B 版本,輸入圖文或影片後直接對候選動作打分並輸出機率,單步決策僅需百毫秒出頭,專為智慧體的高頻反射場景設計。

Valen 是一個開源的輕量多模態決策模型,它不做慢吞吞的文本生成,而是直接看圖、看影片或看文本,在給定的候選動作上直接打分並輸出機率分佈。

在目前大多數智慧體架構裡,讓大模型看圖往往要經歷完整的自迴歸生成,既費時又費視訊記憶體。Valen 針對的是所謂的「System One」快反射機制,專門處理高頻、瑣碎且要求極快的判斷場景。

它能做什麼

Valen 支援文本、靜態圖片以及影片輸入。使用者在輸入狀態的同時傳入任務指令與候選選項,模型會輸出結構化的機率值,而不是一段自然語言廢話。

它原生支援三類問題形態。第一種是斷言判定,判斷某個狀態是否成立並給出零到一的機率。第二種是多選決策,直接給候選列表裡的每一項分配機率。第三種是等級打分,根據給定的描述等級計算出加權分值和置信度。

這種機制非常適合高頻的智慧體場景。比如 GUI Agent 判斷當前螢幕上彈出了什麼視窗、該點哪個按鈕;遊戲 Agent 在推箱子、走迷宮或跑酷遊戲裡實時決定下一步移動;或者巡檢機器人看到前方障礙物後,在停下、繞行和推開之間瞬間做選擇。

團隊還給出了工單分流的用法。在候選選項里加上「以上皆非」後,系統能自動過濾超範圍訴求並轉交人工稽核,在兩百個測試工單中將錯誤自動放行的案例從八起降到了一起。

怎麼做到的與如何跑起來

Valen 底層基於 Qwen3.5 構建,結合 Mixer 架構與共享狀態推理,並在數百萬條樣本上完成了監督微調(SFT)。

官方提供了 0.8B、2B 和 4B 三種引數尺寸。得益於不需要生成長文本,官方測試顯示單步決策耗時大約在 122 到 128 毫秒之間,四個對局並行決策可以在 1.24 秒內完成。

專案在生態接入上給得非常齊全。模型權重已經開源在 Hugging Face,同時提供了 ONNX 執行時和針對 llama.cpp 與 Ollama 修改的 GGUF 格式。對於生產部署,官方支援 vLLM 和 SGLang 容器化映象,直接暴露標準的決策 API 端點。

想快速測試的開發者不需要先配 GPU。專案提供了一個免鑑權的公共 API 端點與網頁端 Demo,幾行 Python 程式碼就能跑通一次呼叫。團隊還順手釋出了適用於 Claude Code 和 Cursor 等編碼助手的 Skill 外掛,甚至在 Python SDK 裡內建了對比方法,方便直接拿自家結果去跟 GPT、Claude 或 Gemini 對齊。

為什麼重要

如果你正在開發 GUI 自動化指令碼、小車機器人或者遊戲智慧體,Valen 值得你立刻拿來替換掉管線裡的部分輕量判斷環節。以前為了判斷一個按鈕能不能點,呼叫多模態大模型既貴又動輒卡上一兩秒,而規則程式碼又不夠泛化;Valen 這種把感知直接對映到選項機率的做法,剛好補齊了高頻反射層的空缺。

我們認為把決策與文本生成徹底剝離是非常務實的路線。它的限制也很明顯:它只能在預先給定的候選動作裡打分,沒法應對開放式創造。但這正是 System One 的本意,讓小模型專心做毫秒級的條件反射,把耗時的規劃留給後面的大模型,智慧體的工程架構才會真正變輕。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選