바이트댄스, 대화·효과음·음악을 한 번에 생성하는 'Seed-Audio 1.0' 공개

드라마나 영상용 오디오를 제작할 때, 보통은 음성 합성으로 대사를 만들고 효과음을 따로 찾은 뒤 배경음악을 얹어 편집 타임라인에서 일일이 싱크를 맞춰야 했습니다.

6월 23일, 볼케이노 엔진이 공개한 'Seed-Audio 1.0'은 이 번거로운 과정을 한 번에 해결하는 올인원 오디오 모델입니다. 단 한 번의 생성으로 여러 등장인물의 대화와 감정 연기, 방언과 억양은 물론 배경음악과 각종 효과음까지 동시에 조율해 출력합니다.

대사부터 배경음악까지 한 번에 완성

Seed-Audio 1.0은 오디오북이나 팟캐스트, 장편 드라마 같은 긴 작업물에서 목소리가 중간에 변하는 문제를 잡는 데 집중했습니다.

참조 오디오 기능을 통해 전체 작업물에서 일관된 음색을 유지할 수 있으며, 텍스트 묘사만으로 어울리는 목소리 톤을 추론해내는 제로샷 기능도 지원합니다. 입으로 흥얼거린 멜로디를 완곡으로 만들어주는 기능도 포함됐습니다. 현재는 주로 API 방식으로 제공되며 Fal 등에서도 연동을 시작했습니다. 초기 사용자들 사이에서는 다중 화자 대사 처리가 ElevenLabs V3에 근접하고 음악 생성 품질은 Suno V4에 견줄 만하다는 평가가 나옵니다.

왜 중요한가

바이트댄스가 개별 음원 생성을 넘어 최종 믹싱 단계의 결과물을 한 번에 뽑아내는 방향을 택한 점은 매우 실용적입니다. 실제 창작 현장에서 가장 많은 시간이 소모되는 지점은 소리 간의 타이밍과 볼륨을 맞추는 후보정 작업이기 때문입니다.

함께 공개된 이미지 및 영상 모델과 맞물리면 텍스트부터 영상, 오디오까지 이어지는 완전한 원스톱 파이프라인이 완성됩니다. 다만 하나의 완제품 트랙으로 출력되는 구조 특성상, 특정 효과음이나 배경음악의 일부만 세밀하게 수정하고자 할 때 기존 멀티트랙 작업 방식만큼 유연하게 대처할 수 있을지는 지켜볼 부분입니다.