오픈소스 멀티모달 의사결정 모델 Valen: 이미지 보고 행동 확률 즉시 평가

Valen은 AI 에이전트의 초고속 반사 신경 역할을 수행하도록 설계된 오픈소스 경량 멀티모달 의사결정 모델이다. 느린 텍스트 토큰 생성을 거치지 않고 텍스트, 이미지, 영상을 입력받아 주어진 후보 동작들에 대한 확률 점수를 직접 출력한다.

대다수 에이전트 파이프라인은 단순한 화면 상태 확인에도 거대한 비전 언어 모델을 호출해 지연 시간과 비용을 낭비하곤 한다. Valen은 인간의 직관적 반응에 해당하는 '시스템 원' 방식을 시각 영역으로 확장해, 빈도가 높고 빠른 판단이 필요한 영역을 전담한다.

무엇을 할 수 있나

Valen은 입력된 시각적 상태와 작업 지침을 대조해 후보군에 대한 구조화된 확률 분포를 반환한다.

지원하는 질의 방식은 세 가지다. 특정 조건의 참 거짓 확률을 0과 1 사이로 평가하는 술어 판정, 주어진 선택지들에 확률을 분배하는 다중 선택, 그리고 서술된 단계별 기준에 따라 가중 평균 점수와 신뢰도를 계산하는 점수 매기기다.

이 구조는 빠른 반응 속도가 필수적인 에이전트에 최적화되어 있다. GUI 에이전트가 팝업 창의 유무를 감지하거나 클릭할 버튼을 고를 때, 게임 봇이 소코반이나 레이싱 환경에서 다음 이동 방향을 실시간으로 결정할 때, 이동 로봇이 전방 장애물을 보고 정지나 우회를 판단할 때 유용하다.

고객 문의 라우팅 실험에서는 선택지에 해당 사항 없음을 추가해 처리 범위를 벗어난 요청을 사람에게 넘기도록 구성했으며, 영문 200건 테스트에서 잘못된 자동 승인을 8건에서 1건으로 줄이는 성과를 보였다.

작동 원리와 실행 환경

Valen은 Qwen3.5를 기반으로 Mixer 구조와 상태 공유 추론을 결합했으며, 수백만 건의 데이터를 활용해 지도 미세조정(SFT)을 거쳤다.

모델 크기는 0.8B, 2B, 4B 세 가지다. 텍스트를 한 글자씩 생성하지 않기 때문에 공식 데이터 기준 단일 의사결정에 걸리는 시간은 122~128밀리초에 불과하며, 4개 게임 환경의 병렬 의사결정도 1.24초 안에 끝낸다.

도구 생태계 지원도 폭넓다. Hugging Face에 원본 가중치가 공개되어 있으며, Python, JavaScript, C++용 ONNX 런타임과 llama.cpp, Ollama용 GGUF 형식을 함께 제공한다. 실서비스 배포를 위한 vLLM 및 SGLang 도커 빌드도 마련되어 있다.

로컬 GPU가 없는 사용자도 API 키 없이 호출 가능한 무료 엔드포인트와 웹 데모를 통해 즉시 기능을 시험해볼 수 있다. Claude Code와 Cursor 같은 코딩 에이전트용 스킬 플러그인은 물론, GPT나 Claude, Gemini와 동일한 질문의 응답 결과를 비교할 수 있는 평가 도구 JevalKit도 포함되어 있다.

왜 중요한가

GUI 자동화나 소형 로보틱스, 게임 제어 에이전트를 개발하고 있다면 Valen을 즉시 검토해볼 가치가 있다. 버튼 하나 활성화 여부를 확인하려고 거대 모델을 불러 1~2초씩 대기하던 파이프라인에 가벼운 반사 계층을 추가하면 시스템 전체의 반응성을 크게 끌어올릴 수 있다.

의사결정에서 불필요한 텍스트 생성을 완전히 걷어낸 판단은 매우 실용적인 접근으로 보인다. 사전에 정의된 선택지가 없는 개방형 추론에는 쓸 수 없다는 한계가 분명하지만, 반복적이고 빠른 판단을 소형 모델에 맡기고 복잡한 계획만 대형 모델에 넘기는 이원화 구조를 구축하기에 가장 알맞은 도구다.