엔비디아 Nemotron 3.5 Transcribe 공개: 프롬프트 제어와 8명 화자 분리 지원

엔비디아가 음성 인식, 화자 분리, 다국어 번역, 오디오 질의응답을 단일 모델에 통합한 오픈 가중치 음성 모델 Nemotron 3.5 Transcribe를 공개했다.

어떤 기능이 있나

이 모델은 40개 언어의 음성 전사와 31개 언어와 영어 간의 상호 번역을 지원하며, 13개 언어에서 화자 분리가 가능하다. 최대 1시간 분량의 긴 녹음 파일을 처리할 수 있고, 최대 8명의 서로 다른 발화자를 구분해 낸다.

가장 돋보이는 부분은 자연어 프롬프트로 출력을 제어할 수 있다는 점이다. 추임새나 말더듬을 그대로 살린 축자 전사를 요청할 수도 있고, 읽기 편하게 정돈된 텍스트로 다듬어 달라고 지시할 수도 있다. 의료 기록이나 전문 회의를 전사하기 전에 전문 용어 목록을 프롬프트로 제공해 고유명사 정확도를 끌어올릴 수도 있으며, 회의 녹음을 들려주고 어떤 결정이 내려졌는지 바로 질문하는 오디오 질의응답도 가능하다. 대화가 빠르게 겹치며 서로 말을 가로채는 상황에서도 화자 태그와 단어 단위 타임스탬프를 정교하게 유지한다.

작동 방식과 하드웨어 스펙

구조적으로는 음성 인코더에 맘바와 트랜스포머가 결합된 MoE 언어 모델을 연결했다. 전체 파라미터는 약 30B 규모이지만 MoE 방식을 취해 토큰당 실제 활성화되는 파라미터는 약 4B 수준이다. 외부 테스트 기준으로는 약 34B 총 파라미터 중 4.3B가 활성화되는 것으로 측정되었으며, 덕분에 적은 연산량으로도 높은 언어 이해력을 발휘한다.

성능 지표에서도 오픈 모델 1위 자리를 휩쓸었다. 허깅페이스 Open ASR 리더보드에서 영어 단어 오류율 5.33%로 오픈 모델 1위를 차지했고, Artificial Analysis 벤치마크에서도 2.8% 오류율로 공동 1위에 올랐다. David AI의 21개 언어 화자 분리 벤치마크에서도 18.26%로 가장 낮은 오류율을 기록했다.

배포 규격의 경우 원본 BF16 버전은 약 67.5GB에 달하지만, NVFP4 양자화 버전을 사용하면 22GB 미만으로 줄어든다. 단일 RTX PRO 6000 블랙웰 서버 GPU 환경에서는 100시간 분량의 오디오를 3분 이내에 처리하는 처리량을 보여준다. 현재 vLLM을 통해 서빙할 수 있으며 NeMo-Speech.cpp를 통해 Jetson AGX Thor나 RTX Spark 같은 로컬 기기에서도 구동 가능하다. 다만 녹음된 오디오 처리에 최적화되어 있어 실시간 스트리밍 전사는 지원하지 않는다.

엔비디아는 모델 가중치와 함께 46만 시간 이상의 다국어 정제 파이프라인인 Granary v2를 허깅페이스와 모델스코프에 함께 공개했다.

왜 중요한가

그동안 긴 회의 녹음을 제대로 정리하려면 위스퍼로 받아쓰고, 별도의 화자 분리 라이브러리를 거친 뒤, LLM으로 문장을 다듬는 번거로운 파이프라인을 구축해야 했다. 이 과정에서 지연 시간이 늘어나고 중간 오류가 누적되는 문제가 잦았다.

Nemotron 3.5 Transcribe는 자연어 프롬프트 하나로 이 모든 과정을 단일 체크포인트 안에서 끝낸다. FP4 양자화를 통해 단일 GPU에서도 쾌적하게 돌아가므로, 보안이 중요한 오프라인 환경에서 회의록 요약, 팟캐스트 자막 생성, 임상 기록 앱을 개발하려는 개발자에게 현재 가장 강력한 오픈소스 대안이다.