AIエージェントに「耳」を与えるオープンソース「Earshot」公開　効果音の自己修正が可能に

Earshotは、Claude Codeなどのコーディングエージェントに「耳」を持たせるオープンソースプロジェクトです。AIがコードを書いて効果音を合成するだけでなく、自ら音を聞いて評価し、コードを修正して音響効果を追い込むことができます。

現在のコーディングエージェントは、製品デモやUIアニメーション、ゲーム画面を描画するコードを自在に書けるようになりました。しかし、AIは自分が作った音を聞くことができません。高級なメカニカルキーボードの打鍵音と安っぽいプラスチック音の違いを聞き分けることも、打撃音が映像のカットから80ミリ秒遅れていることに気付くこともできませんでした。

Earshotは、音響情報をエージェントが推論できる具体的なデータへと変換します。音声ファイルの特徴を自然言語で説明したり、プロンプトとの一致度をスコア化したり、映像全体の音声イベントをミリ秒単位で文字起こししたスペクトログラム付きシートを出力したりできます。

仕組みと特徴

Earshotの特徴は、巨大なブラックボックスの音声生成AIに頼るのではなく、効果音を「コードによる物理合成」として扱っている点です。

ライブラリには、純粋なコードでレンダリングされる252種類の効果音が用意されています。UIのポップ音、木やプラスチックのノック音、カメラのシャッター音、リバースシンバル、短いライザー音などが含まれており、外部通信やGPUなしで数秒で生成されます。

この仕組みによって自己修正のループが成立します。エージェントが合成レシピのコードを書き、レンダリングされた候補音をEarshotのクリティック機能が採点します。減衰の早さやノイズ、音量バランスの欠陥がテキストでフィードバックされ、エージェントはパラメータを書き換えて望ましい音に仕上げていきます。

動作環境と導入方法

EarshotはローカルのCPU環境だけで完結して動作します。ハイスペックなGPUは不要です。

インターフェースとしてはCLI、Python API、そしてエージェントと直接連携できるMCPサーバーに対応しています。単体のCLI呼び出しではモデルの読み込みに20秒から40秒ほどかかりますが、MCPサーバーを常駐させれば待ち時間なしでスムーズに呼び出せます。

コードはGitHubで公開されています。最新版では製品プロモーション動画向けのプリセットも追加され、BGMの音量に合わせて効果音のミックスバランスを自動調整したり、映像のカット割りに合わせてミリ秒単位で配置したりできるようになりました。

なぜ重要か

AIエージェントを使ってアプリのUI、ゲーム、製品PVなどを自動生成している開発者にとって、手作業の試聴と位置合わせを大幅に省ける実用的なツールです。

重厚な音声生成モデルを動かすのではなく、軽量な物理合成とテキストによる評価ループを組み合わせた設計は非常にスマートだと言えます。現時点では数秒以内の短い効果音に特化しており、長尺の劇伴や複雑な環境音の制作には向きませんが、プログラマブルな音響制作の自動化において確かな一歩です。