엔비디아, 실시간 음성 AI 'PersonaPlex' 공개: 듣기·말하기 동시 수행에 맞춤 페르소나까지

NVIDIA가 공개한 PersonaPlex는 엔드투엔드 전이중 음성 대화 모델이다. 상대방의 말을 실시간으로 들으면서 동시에 말하고, 중간에 말을 끊으면 즉시 멈추며, 텍스트 설정과 음성 샘플만으로 목소리와 역할을 자유롭게 바꿀 수 있다.

그동안 음성 AI는 뼈아픈 양자택일을 강요받았다. 음성인식, 거대언어모델, 음성합성을 엮은 전통적인 파이프라인 방식은 목소리와 캐릭터 설정은 자유로웠지만 지연 시간이 길고 끼어들기가 불가능했다. 반면 Moshi 같은 전이중 모델은 자연스러운 실시간 대화를 열었지만 고정된 하나의 목소리와 역할에 갇혀 있었다.

PersonaPlex로 무엇을 할 수 있나

PersonaPlex는 이 타협을 깼다. 스트리밍 음성 이해와 생성을 지원하는 듀얼 스트림 구조를 갖춰, 캐릭터 설명 텍스트와 짧은 참조 오디오만 입력하면 원하는 페르소나를 유지한 채 실시간 대화를 이어간다.

실제 시연에서 모델은 특정 억양과 공감 능력을 발휘해 고객 본인 확인을 진행하는 은행 상담원 역할을 해냈고, 환자의 병력과 알레르기 정보를 차착 기록하는 병원 접수처 역할도 자연스럽게 소화했다.

일반적인 상담을 벗어난 극한 상황에서도 안정적이다. 화성 탐사선에서 원자로 용융 위기에 처한 우주비행사 Alex 역할을 맡겼을 때도, 긴박감과 절박함이 묻어나는 목소리 톤으로 사용자에게 도움을 요청하며 일관된 캐릭터를 유지했다.

자연스러운 맞장구도 돋보인다. FullDuplexBench 평가에서 PersonaPlex는 uh-huh, yeah 같은 짧은 추임새를 문맥에 맞게 넣어 상대방의 말 흐름을 끊지 않고 경청하고 있음을 전달했다.

기존 한계를 어떻게 넘어섰나

PersonaPlex는 여러 단계를 거치는 파이프라인을 버리고 단일 모델을 통해 음성에서 음성으로 직접 반응한다. 사용자가 말하는 동안 내부 상태를 즉각 업데이트하며 지연 시간을 최소화한 오디오 스트리밍을 내보낸다.

동작을 제어하는 핵심은 두 가지 입력이다. 음색, 억양, 운율을 담아내는 음성 프롬프트와 역할 및 지침을 규정하는 텍스트 프롬프트를 함께 모델에 전달한다.

이러한 구조 덕분에 모델은 대화 내용뿐만 아니라 언제 멈추고, 언제 끼어들며, 언제 맞장구를 쳐야 하는지 같은 비언어적 상호작용 규칙까지 한 번에 학습해 사람다운 대화 리듬을 재현한다.

왜 중요한가

우리는 PersonaPlex가 지연 시간 없는 자연스러운 인터랙션과 맞춤형 브랜딩이라는 두 마리 토끼를 영리하게 잡았다고 본다. 24시간 고객지원, 금융 상담 봇, 게임 내 인터랙티브 캐릭터를 개발하는 이들에게 기존의 답답한 지연 문제는 확실히 해결될 수 있다.

전이중 엔드투엔드 모델이 특정 단일 캐릭터에 묶여 있을 필요가 없음을 증명한 만큼, 기존의 조립식 음성 비서 모델을 대체하려는 움직임도 빨라질 것이다. 복잡한 업무 로직 통제는 추가 검증이 필요하겠지만, 음성 에이전트를 준비 중인 팀이라면 지금 즉시 테스트해 볼 가치가 충분하다.