엔비디아, 최대 9배 빠른 오픈 옴니 모델 'Nemotron 3 Nano Omni' 출시

Nemotron 3 Nano Omni는 시각, 음성, 텍스트 추론을 단일 시스템으로 통합한 엔비디아의 오픈 멀티모달 모델입니다.

기존 AI 에이전트는 화면 분석용 비전 모델, 음성 인식 모델, 언어 모델을 따로 엮어 구동하는 방식이 일반적이었습니다. 이 방식은 모델 간 데이터를 주고받을 때마다 지연 시간이 늘어나고, 멀티모달 문맥이 끊기는 문제가 있었습니다. Nemotron 3 Nano Omni는 이러한 지각 단계를 단일 추론 루프로 통합해 문제를 해결합니다.

무엇을 할 수 있나

이 모델은 복합 문서 분석, 장시간 음성 인식, 오디오 및 비디오 통합 이해, GUI 컴퓨터 제어, 범용 멀티모달 추론 등 다섯 가지 작업에 최적화되었습니다.

100페이지가 넘는 보고서나 계약서의 서식, 표, 수식을 시각 구조와 함께 분석할 수 있으며, 1920×1080 풀 HD 해상도 입력을 지원해 PC 화면 제어 에이전트가 화면 상태를 지연 없이 파악할 수 있도록 돕습니다.

또한 최대 1시간 분량의 음성과 최대 2분, 256프레임의 비디오를 입력받아 회의 영상에서 발언 내용과 슬라이드 화면을 하나의 맥락으로 묶어 분석합니다.

구조와 성능 스펙

모델은 전체 30B 파라미터 중 추론 시 3B만 활성화하는 하이브리드 Mamba-Transformer MoE 구조로 설계되었습니다. Nemotron 언어 백본에 C-RADIOv4-H 비전 인코더와 Parakeet 오디오 인코더를 결합했으며, 131K 토큰 컨텍스트를 지원합니다.

응답성을 유지한 상태에서 측정한 시스템 처리량은 유사한 오픈 옴니 모델 대비 최대 9배 높습니다. 비디오 작업에서는 9.2배, 다중 문서 작업에서는 7.4배 높은 시스템 효율을 보였습니다.

컴퓨터 조작 벤치마크인 OSWorld에서는 47.4점을 기록해 Qwen3-Omni 30B-A3B의 29.0점을 크게 앞섰으며, MMLongBench-Doc 등 문서 지능 평가에서도 선두를 차지했습니다.

가중치는 Hugging Face에 공개되어 있으며 BF16, FP8, NVFP4 체크포인트를 제공합니다. 상용 이용이 가능한 라이선스 하에 데이터셋과 훈련 레시피도 함께 개방되었으며, OpenRouter, build.nvidia.com, Amazon SageMaker JumpStart를 통해 바로 배포할 수 있습니다. 엣지 기기인 Jetson부터 Blackwell GPU 클라우드까지 폭넓게 구동됩니다.

왜 중요한가

화면을 보고 프로그램을 조작하는 컴퓨터 유즈 에이전트나 사내 음성 및 문서 데이터를 통합 처리해야 하는 개발자라면 당장 검토해 볼 만합니다. 여러 지각 모델을 파이프라인으로 연결할 때 생기던 복잡성과 지연 시간을 획기적으로 줄여줍니다.

엔비디아는 초대형 범용 모델 경쟁 대신, 에이전트 개발에서 가장 병목이 되던 멀티모달 감각 영역을 자사 가속기에 최적화된 오픈 모델로 풀어냈습니다. 민감한 내부 화면과 음성 데이터를 외부 상용 API로 전송하기 부담스러운 기업에 강력한 자체 구축 대안이 될 것입니다.