구글, 실시간 음악 모델 'MRT2' 오픈소스 공개: 맥북에서 200ms 지연으로 즉각 연주

구글 Magenta 팀이 실시간 음악 생성 오픈소스 모델인 'Magenta RealTime 2(MRT2)'를 공개했다. 텍스트 프롬프트를 넣고 완성된 곡 파일이 나오길 기다리는 기존 생성형 음악 AI와 달리, MIDI 건반을 연결해 즉흥으로 소리를 연주할 수 있는 실시간 AI 악기다.

모델은 2.4B(24억 파라미터)와 230M 두 가지 크기로 제공되며, 지연 시간은 약 200ms 수준으로 줄였다. 텍스트나 참조 오디오로 연주 스타일을 지정한 뒤 건반을 누르면 모델이 즉각 반응해 사운드를 실시간 합성한다. 다만 현재는 순수 연주 음악만 생성할 수 있으며 보컬이 포함된 노래는 지원하지 않는다.

무엇을 할 수 있고, 어떻게 동작하나

기존 대형 음악 생성 모델이 대부분 오프라인 렌더링 방식의 블랙박스였다면, MRT2는 연주자의 입력 신호를 끊김 없이 스트리밍으로 이어받는 데 초점을 맞췄다.

기술적으로 MRT2는 SpectroStream 오디오 코덱 토큰을 처리하는 언어 모델 구조를 취한다. 인과적 슬라이딩 윈도우 어텐션(Causal Sliding Window Attention) 기법을 적용해 메모리 점유율을 일정하게 묶어두면서도 무제한 스트리밍 생성이 가능하도록 설계했다. 장시간 연주 시 발생하는 잡음이나 피드백 노이즈도 억제했다.

반응 속도의 핵심은 프레임 정렬 제어다. MusicCoCa를 통해 텍스트나 오디오 스타일을 임베딩하고, 들어오는 MIDI 신호를 40ms 단위의 매 생성 프레임마다 직접 주입한다. 이를 통해 1세대 Magenta RealTime 대비 약 15배 빠른 반응 속도를 달성하며 체감 지연 시간을 약 200ms까지 좁혔다.

요구 사양과 실행 방법

초대 모델이 고성능 클라우드 GPU나 TPU를 필수로 요구했던 것과 달리, MRT2는 음악 작업자들이 실제로 사용하는 애플 실리콘(M 시리즈) 맥북 로컬 환경을 정조준했다.

구글은 애플의 MLX 프레임워크 기반 C++ 추론 엔진을 별도로 개발했다. 모델 가중치와 연산 그래프를 하나로 묶어 맥북 GPU에서 직접 구동하도록 최적화한 것이다. C++ 엔진이 오디오 버퍼링과 MIDI 라우팅을 맡기 때문에 추후 DAW(디지털 오디오 워크스테이션) 플러그인 형태로 이식하기에도 유리하다.

현재 오픈 가중치 모델과 함께 파이썬 라이브러리(pip install magenta-rt), C++ 스트리밍 엔진, 바로 연주해볼 수 있는 독립형 예제 애플리케이션이 모두 공개되었다. 애플 실리콘 맥을 보유한 사용자라면 공식 예제 앱을 다운로드해 곧바로 건반을 연결하고 연주해볼 수 있다.

왜 중요한가

우리는 구글이 음악 AI의 개발 방향을 완제품 생성기에서 '연주 가능한 신디사이저'로 영리하게 틀었다고 본다. 수노(Suno)나 유디오(Udio) 같은 서비스가 일반인을 위한 완곡 제작에 집중한다면, 실제 창작자에게 필요한 것은 내 손끝의 타이밍과 강약을 실시간으로 받아내는 반응형 도구다. MRT2는 음악가의 자리를 빼앗지 않고 새로운 질감의 악기를 쥐여주는 방식을 택했다.

클라우드 구독료나 네트워크 지연 없이 맥북 로컬에서 돌아가도록 MLX 엔진을 짠 점도 매우 실용적이다. 200ms 지연 시간은 박자에 아주 엄격한 실시간 라이브 연주에는 다소 적응이 필요하고 보컬 생성이 안 된다는 한계도 있지만, 차세대 AI 악기 생태계를 여는 오픈소스 기반으로서는 프로 뮤지션과 개발자 모두 지금 당장 만져볼 가치가 충분하다.