CrisperWhisper 2.0 오픈소스 공개: 말더듬 보존과 텍스트 정제 모드 지원

CrisperWhisper 2.0은 nyra labs가 공개한 오픈소스 음성 인식 모델로, 음성 텍스트 변환에서 늘 골치 아팠던 고민을 깔끔하게 해결합니다. 말한 그대로를 전부 기록할지, 아니면 깔끔하게 다듬어진 글을 얻을지를 사용자가 직접 선택할 수 있습니다.

기존 음성 인식 도구들은 이 두 가지 방식이 뒤섞여 있어 감탄사나 군말이 제멋대로 남거나 지워지곤 했습니다. CrisperWhisper 2.0은 이를 명확한 스위치 형태로 제어할 수 있게 만들었습니다.

무엇을 할 수 있나

「축어(Verbatim) 모드」를 켜면 말더듬, 머뭇거림, 반복, 웃음소리 메타 태그까지 음성에 담긴 모든 요소를 하나도 빠짐없이 있는 그대로 전사합니다. 임상 진단 기록이나 법률 녹취, 정밀 음성 분석에 제격입니다.

「의도(Intended) 모드」로 바꾸면 불필요한 추임새와 침묵을 말끔히 걷어내고, 날짜나 숫자, 이메일 주소를 읽기 쉬운 표준 서식으로 다듬어 읽기 편한 텍스트로 완성해 줍니다.

단어 단위 정렬 정확도 역시 매우 뛰어납니다. 낭독 음성 기준 단어 경계 평균 오차는 29.6ms, 자연스러운 대화 음성에서도 40.6ms에 불과합니다. 벤치마크 결과 ElevenLabs Scribe v2나 xAI의 음성 인식 서비스보다 더 정밀한 단어 타임스탬프를 보여주었습니다.

긴 오디오를 처리할 때 생기는 문제도 잡았습니다. 기존 Whisper처럼 불안정한 타임스탬프 토큰을 생성하는 대신, 앞서 전사한 단어 끝부분을 다음 오디오 창의 시작점으로 넘겨주는 조건부 연속 방식을 썼습니다. 덕분에 연결 부위에서 단어가 누락되거나 같은 말이 끝없이 반복되는 루핑 환각 증상을 효과적으로 차단합니다.

기존의 정제된 텍스트와 오디오를 입력하면 실제 말소리에 맞게 말더듬과 웃음을 채워 넣어 축어 데이터셋으로 복원해 주는 Verbatimize 기능도 포함되어 있어, 자연스러운 감정 표현이 필요한 TTS 학습 데이터 구축에 유용합니다.

어떻게 실행하나

다국어를 지원하며 총 4가지 크기의 모델로 제공됩니다.

가장 작은 모델은 2억(0.2B) 파라미터에 용량이 500MB도 되지 않습니다. 고성능 GPU 없이 일반 보급형 기기에서도 바로 실행할 수 있습니다.

가장 큰 모델도 20억(2B) 파라미터에 약 3GB 크기라 일반 소비자용 그래픽카드에 무리 없이 올라갑니다. 최적화된 CTranslate2 런타임을 적용해 추론 속도와 처리 지연 시간도 크게 줄였습니다.

별도 설치 없이 사용해 보고 싶다면 Hugging Face Space에 마련된 무료 데모에서 오디오를 올려 바로 테스트할 수 있습니다. 로컬 환경 배포를 위한 모델 가중치와 가이드도 Hugging Face에 모두 공개되어 있습니다.

왜 중요한가

자막 제작자나 팟캐스트 편집자, 음성 데이터를 다루는 개발자라면 바로 도입을 검토해 볼 만합니다. 정밀한 녹취록과 읽기 좋은 텍스트 사이에서 번거롭게 타협할 필요가 없어졌기 때문입니다.

무작정 파라미터 크기만 키우는 대신 단어 정렬 오차와 환각 억제, 모드 전환 같은 실제 배포 환경의 난제를 똑똑하게 풀어냈습니다. 500MB 미만의 가벼운 체급으로 상용 폐쇄형 API를 위협하는 단어 정렬 품질을 뽑아냈다는 점에서 높은 점수를 줄 만합니다.