리퀴드 AI, 50ms 만에 판단하는 온디바이스 의사결정 모델 'd1-3B' 오픈소스 공개

리퀴드 AI가 분류와 판정 작업에 특화된 3.1B 규모의 멀티모달 의사결정 모델 'd1-3B'를 오픈소스로 공개했다. 자사의 LFM2.5-VL-3B 모델을 기반으로 사후 학습된 결과물이다.

이 모델은 문장을 생성하는 대화형 챗봇이 아니다. 텍스트, JSON, 이미지 등으로 구성된 상태값과 질문을 입력하면, 단 한 번의 순전파 연산만으로 확률값이 포함된 구조화된 판단을 도출한다. 텍스트 토큰을 하나씩 생성하지 않기 때문에 출력 토큰 수는 0이다.

무엇을 할 수 있는가

d1-3B는 고객 문의 자동 분류, 유해 콘텐츠 검열, 사용자 의도 파악, AI 에이전트의 안전 가드레일, LLM 평가관 역할, 공정 내 비전 검사 등 다양한 자동화 파이프라인의 판단 엔진으로 쓰기 적합하다.

질문 방식은 세 가지 형태로 나뉜다. 예와 아니오를 가리는 2진 판단, 여러 후보군 중 하나를 고르는 다지선다 분류, 2단계에서 10단계 사이로 평가하는 순서형 점수 매기기다. 결과가 각 선택지의 확률 및 신뢰도와 함께 구조화되어 반환되므로 별도의 텍스트 파싱 작업이 필요 없다.

성능 면에서는 Decision Index 0.2.1 벤치마크에서 48.57점을 기록했다. 이는 10B 미만 모델 중 가장 높은 점수로, 36B 규모의 Decider 35B-A3B보다 앞선 수치다. 11개 공개 이미지 벤치마크 평균 점수 역시 74.1점으로 기반 비전-언어 모델 수준의 시각 이해도를 유지했다.

속도와 요구 사양

자기회귀 방식의 토큰 생성을 생략한 덕분에 PC와 엣지 하드웨어 전반에서 반응 속도가 매우 빠르다.

엔비디아 RTX 4090 그래픽카드에서 최적화 컴파일을 거치면 단일 질의를 8ms 만에 처리한다. AMD MI325X에서는 9ms, 애플 M5 Pro에서는 약 30ms가 걸린다.

엣지 기기에서도 지연 시간이 매우 짧다. 엔비디아 젯슨 AGX 토르에서 16ms, 젯슨 AGX 오린에서 26ms가 소요되며, 연산 성능이 제한적인 젯슨 오린 나노에서도 50ms 이내에 판단을 마친다.

총 파라미터 수는 31.2억 개이며, 컨텍스트 길이는 32768 토큰, 비전 인코더로는 400M 크기의 SigLIP2 NaFlex를 탑재했다. transformers 5.14 이상 버전이 필요하며 vLLM, SGLang, 도커를 통한 서빙을 지원한다. 허깅페이스 모델 저장소에서 가중치를 내려받을 수 있으며 10가지 데모를 모아둔 온라인 체험 공간도 제공된다.

왜 중요한가

에이전트 라우팅이나 검열 파이프라인, 온디바이스 비전 검사를 구축하는 개발자라면 d1-3B를 눈여겨볼 만하다. 단순 분류나 적합성 판정을 위해 거대한 대화형 모델을 띄우고 텍스트 생성을 기다리던 비효율을 수십 밀리초 단위의 단일 연산으로 줄일 수 있기 때문이다.

문장 생성과 의사결정을 분리한 접근 방식은 실용적이다. 온디바이스 기기나 로봇의 최전선에서는 무거운 범용 챗봇보다, 가볍고 즉각적으로 상태를 판별하는 이런 전용 결정 모델이 훨씬 더 유용하게 쓰일 것으로 보인다.