開源專案 Earshot：給 AI 程式設計助手裝上耳朵，能聽懂畫面自己改音效

Earshot 是一個開源專案，簡單說就是給 Claude Code 這樣的程式設計智慧體裝上了一對耳朵，讓 AI 不僅能寫程式碼合成音效，還能自己聽、自己挑毛病、自己改程式碼修音效。

現在的程式設計智慧體已經能寫程式碼渲染出一段完整的宣傳片、遊戲 demo 或 UI 動效。但問題是它們根本聽不見自己做了什麼，不知道機械鍵盤的敲擊聲聽起來像不像廉價塑膠，也不知道撞擊聲是不是比畫面切鏡慢了 80 毫秒，更聽不出配樂是不是在錯誤的時間點突然變大。

Earshot 做的就是把聲音轉化成智慧體能夠推理的結構化證據。它能用自然語言描述一段音訊、評估聲音和文字提示詞的匹配度、在長錄音裡找出最契合的片段，或者逐秒生成整部短片的視聽對齊文本和帶標註的頻譜圖。

它是怎麼做到的

Earshot 的核心玩法不是呼叫巨大的黑盒端到端模型，而是把音效完全程式碼化。

專案內建了一個程式碼音效庫，裡面包含了 252 種純用物理合成演算法渲染的聲音。包括 UI 彈出音、木頭和塑膠敲擊聲、下潛低音、水滴聲、相機快門、反向鈸片以及各種轉場聲。這些音效幾秒內就能渲染出來，不需要聯網，也不依賴笨重的音訊生成大模型。

更聰明的是它的閉環最佳化機制。智慧體寫出一串物理合成配方，Earshot 的合成器跑出幾個候選版本，再由評估器打分。評估器會測量頻譜包絡、音調平衡、衰減尾音，以及爆音或削頂等缺陷。

智慧體拿到文字反饋和打分結果，比如提示尾音太突兀或者衰減偏長，就會直接改寫合成引數重新跑，直到效果符合要求。

硬體要求與上手方式

Earshot 完全在本地 CPU 上執行，不依賴高階顯示卡。

它提供了三種使用方式：命令列工具、Python API，以及適配現代智慧體架構的 MCP 伺服器。如果只是偶爾跑一條命令，每次呼叫會重新載入模型，大概需要 20 到 40 秒；如果需要連續呼叫，官方建議直接掛載 MCP 伺服器，常駐記憶體後響應會快得多。

專案程式碼已經在 GitHub 開源。最新版本還加入了專門針對產品宣傳片最佳化的預設套件，可以自動根據背景音樂動態混音，並精確定位擊打點和轉場特效的時間軸。

為什麼重要

如果你在用 AI 智慧體批次做短影片、獨立遊戲或 UI 動效，Earshot 是個非常值得關注的工具。它填補了 AI 影視工作流裡一直空缺的「聲畫對齊」與「音效質檢」環節，省去了人工反覆試聽、剪輯和手動對齊的大量時間。

我們認為這個專案的聰明之處在於沒有盲目跟風做音訊大模型，而是採用了計算成本極低的物理合成與程式化質檢。不過它的短板也很明顯：目前只適合處理幾秒以內的短促音效和 UI 反饋聲，遇到複雜的長段敘事聲效或長旋律，它依然無法替代專業的聲音設計師。