开源项目 Earshot：给 AI 编程助手装上耳朵，能听懂画面自己改音效

Earshot 是一个开源项目，简单说就是给 Claude Code 这样的编程智能体装上了一对耳朵，让 AI 不仅能写代码合成音效，还能自己听、自己挑毛病、自己改代码修音效。

现在的编程智能体已经能写代码渲染出一段完整的宣传片、游戏 demo 或 UI 动效。但问题是它们根本听不见自己做了什么，不知道机械键盘的敲击声听起来像不像廉价塑料，也不知道撞击声是不是比画面切镜慢了 80 毫秒，更听不出配乐是不是在错误的时间点突然变大。

Earshot 做的就是把声音转化成智能体能够推理的结构化证据。它能用自然语言描述一段音频、评估声音和文字提示词的匹配度、在长录音里找出最契合的片段，或者逐秒生成整部短片的视听对齐文本和带标注的频谱图。

它是怎么做到的

Earshot 的核心玩法不是调用巨大的黑盒端到端模型，而是把音效完全代码化。

项目内置了一个代码音效库，里面包含了 252 种纯用物理合成算法渲染的声音。包括 UI 弹出音、木头和塑料敲击声、下潜低音、水滴声、相机快门、反向钹片以及各种转场声。这些音效几秒内就能渲染出来，不需要联网，也不依赖笨重的音频生成大模型。

更聪明的是它的闭环优化机制。智能体写出一串物理合成配方，Earshot 的合成器跑出几个候选版本，再由评估器打分。评估器会测量频谱包络、音调平衡、衰减尾音，以及爆音或削顶等缺陷。

智能体拿到文字反馈和打分结果，比如提示尾音太突兀或者衰减偏长，就会直接改写合成参数重新跑，直到效果符合要求。

硬件要求与上手方式

Earshot 完全在本地 CPU 上运行，不依赖高端显卡。

它提供了三种使用方式：命令行工具、Python API，以及适配现代智能体架构的 MCP 服务器。如果只是偶尔跑一条命令，每次调用会重新加载模型，大概需要 20 到 40 秒；如果需要连续调用，官方建议直接挂载 MCP 服务器，常驻内存后响应会快得多。

项目代码已经在 GitHub 开源。最新版本还加入了专门针对产品宣传片优化的预设套件，可以自动根据背景音乐动态混音，并精确定位击打点和转场特效的时间轴。

为什么重要

如果你在用 AI 智能体批量做短视频、独立游戏或 UI 动效，Earshot 是个非常值得关注的工具。它填补了 AI 影视工作流里一直空缺的「声画对齐」与「音效质检」环节，省去了人工反复试听、剪辑和手动对齐的大量时间。

我们认为这个项目的聪明之处在于没有盲目跟风做音频大模型，而是采用了计算成本极低的物理合成与程序化质检。不过它的短板也很明显：目前只适合处理几秒以内的短促音效和 UI 反馈声，遇到复杂的长段叙事声效或长旋律，它依然无法替代专业的声音设计师。