AI 에이전트에 ‘귀’ 달아주는 오픈소스 ‘Earshot’ 공개…효과음 자체 검수·수정 지원

Earshot은 Claude Code와 같은 코딩 에이전트에게 귀를 달아주는 오픈소스 프로젝트입니다. AI가 코드로 효과음을 생성하는 데서 그치지 않고, 직접 소리를 듣고 분석해 코드를 수정하며 음향을 다듬을 수 있도록 지원합니다.

최근 코딩 에이전트는 제품 홍보 영상이나 게임 데모 화면을 렌더링하는 코드를 척척 작성합니다. 하지만 자신이 만든 결과물의 소리를 들을 수 없다는 치명적인 한계가 있었습니다. 키보드 타건음이 고급스러운지 싼 티가 나는지 구별하지 못하고, 타격음이 화면 전환보다 80밀리초 늦게 터져도 알아채지 못했습니다.

Earshot은 소리를 에이전트가 추론할 수 있는 데이터로 변환해 줍니다. 오디오 파일을 자연어로 설명하고, 텍스트 프롬프트와의 일치도를 점수화하며, 긴 녹음본에서 알맞은 소리를 찾아내거나 영상 전체의 오디오 싱크를 초 단위로 기록한 스펙트로그램 시트를 만들어냅니다.

어떻게 작동하는가

Earshot은 거대한 블랙박스형 생성 AI 모델에 의존하지 않고, 효과음을 온전히 코드로 구현하는 방식을 취합니다.

프로젝트 내부에는 물리 합성 알고리즘 코드로 렌더링되는 252개의 효과음 뱅크가 내장되어 있습니다. UI 팝업음, 나무와 플라스틱 노크음, 카메라 셔터, 리버스 심벌, 글리치 등이 포함되며, 외부 네트워크 연결이나 무거운 모델 없이 몇 초 만에 렌더링됩니다.

핵심은 자동 피드백 루프입니다. 에이전트가 물리 합성 레시피 코드를 작성하면 Earshot이 후보 사운드를 뽑아내고, 내부 평가기가 주파수 균형, 감쇄 속도, 클리핑이나 거친 공진 같은 결함을 측정해 채점합니다. 에이전트는 결함에 대한 텍스트 피드백을 읽고 매개변수를 직접 수정해 다시 렌더링합니다.

구동 환경과 사용법

Earshot은 고가의 GPU 없이 일반 로컬 CPU 환경에서 가볍게 구동됩니다.

CLI 명령어, 파이썬 API, 그리고 에이전트와 연동할 수 있는 MCP 서버 형태로 제공됩니다. 단일 CLI 호출 시 모델을 로드하는 데 20초에서 40초 정도 걸리기 때문에, 연속적인 작업을 수행할 때는 모델이 상주하는 MCP 서버 방식으로 연결해 쓰는 것이 유리합니다.

전체 코드는 GitHub에 공개되어 있습니다. 최신 버전에는 제품 홍보 영상 제작을 위한 프리셋이 추가되어, 배경 음악의 볼륨에 맞춰 효과음 크기를 자동 조절하고 컷 전환 시점에 정확히 싱크를 맞추는 기능도 들어갔습니다.

왜 중요한가

코딩 에이전트로 UI 인터랙션, 인디 게임, 제품 소개 영상을 자동 제작하려는 개발자에게 매우 유용한 도구입니다. 사람이 직접 귀로 듣고 타임라인을 밀고 당기며 효과음을 맞추던 번거로운 수작업을 자동화할 수 있습니다.

무거운 오디오 파운데이션 모델 대신 경량화된 물리 합성과 텍스트 피드백 평가 방식을 택한 점이 돋보입니다. 몇 초 안팎의 짧고 명확한 기능성 효과음에 최적화되어 있어 복잡한 서사적 배경음을 대체할 수는 없지만, 에이전트 기반 미디어 제작 파이프라인의 빈틈을 정확히 메워주는 도구입니다.