SymphonyGen 오픈소스 공개: 화성 뼈대로 풀 오케스트라 작곡

SymphonyGen은 현대 영화 및 영상 음악을 위한 오픈소스 오케스트라 편곡 AI 프레임워크다. 간단한 화성 스케치만으로 다양한 악기가 어우러진 완성도 높은 관현악 총보를 생성해 준다.

오케스트라 음악 생성은 수십 개의 악기 파트를 다루면서 동시에 수백 마디에 걸친 화성적 일관성을 유지해야 하기에 매우 까다로운 작업이다. SymphonyGen은 이를 해결하기 위해 악보를 마디, 트랙, 이벤트의 3개 축으로 분해하는 3차원 계층 구조를 채택했다.

어떤 작업을 할 수 있나

작업은 두 단계로 나뉜다. 먼저 비트 단위로 양자화된 다성 화성 뼈대를 생성한다. 이는 작곡가가 피아노로 코드 진행과 곡의 방향성을 먼저 잡는 축소 악보 작업과 같다.

이후 계단식 디코더가 이 뼈대를 바탕으로 현악기, 관악기, 타악기 등 각 악기 트랙에 알맞은 구체적인 음표를 채워 넣는다. 완전히 새로운 곡을 생성할 수도 있고, 사용자가 작업한 MIDI 파일에서 화성 뼈대만 추출해 기존 코드 진행을 살린 오케스트라 편곡을 맡길 수도 있다.

AI 편곡에서 자주 발생하는 불협화음과 조악한 음 충돌을 방지하기 위해 GRPO 강화학습을 적용했다. CLaMP 3 오디오 인지 보상과 트랙 밀도 보상을 결합해 학습시켰으며, 추론 시점에도 불협화음 회피 샘플링을 적용해 귀에 거슬리는 음정을 걸러낸다.

작동 방식과 공개 현황

프로젝트의 전체 소스 코드와 전처리 스크립트는 GitHub에 공개되었으며, 연구 논문은 음악 정보 검색 분야 학회인 ISMIR 2026에 채택됐다.

Hugging Face에는 12레이어 화성 뼈대 모델, 33레이어 3D 메인 모델, GRPO 강화 버전 2종을 포함해 총 4개의 가중치가 배포되어 있다. 오디오 렌더링에는 오픈소스 악보 프로그램인 MuseScore를 사용한다.

모델은 로컬 환경에서도 가볍게 구동할 수 있으며, 피아노 음색을 배제한 순수 관현악 편성 옵션이나 불협화음 억제 시각화 기능도 지원한다.

왜 중요한가

인디 게임 개발자나 영상 음악 작곡가에게 SymphonyGen은 훌륭한 편곡 보조 도구가 될 수 있다. 복잡한 관현악법에 통달하지 않았더라도, 피아노로 기초 코드 몇 개만 입력하면 풍성한 오케스트라 스케치를 순식간에 얻을 수 있다.

기존 SymphonyNet이나 NotaGen 같은 모델과 비교했을 때, 뼈대와 편곡을 분리해 작곡가의 제어권을 보장한 점이 실용적이다. 강화학습을 통해 음 뭉침과 조성 충돌을 줄인 점도 돋보인다.

다만 최종 출력물은 어디까지나 MIDI 악보 데이터다. MuseScore 내장 음원은 데모 확인용 수준이므로, 상용 퀄리티의 음악을 만들려면 생성된 트랙을 DAW로 가져와 전문 가상악기와 믹싱 작업을 거쳐야 한다.