ElevenLabs 推出对话式 AI 构建平台：可自由切换 GPT 与 Claude

如果你之前想做一个能听、会想、还能开口说话的 AI 电话客服，流程通常非常折磨人。你得找一家做语音识别的，把声音转成文字塞给 GPT 或 Claude，再把回答接回像 ElevenLabs 这样的语音合成平台，最后还得自己写一套复杂的代码去判断「对方什么时候插话了」。

现在，靠声音克隆和拟真配音起家的 ElevenLabs 决定把这个麻烦事自己包圆了。11 月 18 日，ElevenLabs 宣布在开发者平台上正式推出完整的对话式 AI Agent 构建功能，让用户直接搭建能够实时交流的语音助手。

把拼积木的活儿全包了

ElevenLabs 的增长负责人 Sam Sklar 对 TechCrunch 透露，其实之前就有很多客户在拿他们的声音做对话机器人。但实际做起来时，最折磨开发者的往往不是声音像不像，而是怎么把自己的业务知识库塞进去，以及怎么处理真人说话时的打断和停顿。

为了解决这个问题，他们干脆搭了一整套完整的交互管道。开发者现在登录平台后，可以直接挑一个模板建项目，设置助手的母语、开场白以及决定人设的系统提示词。

更实在的是底层模型的选择权。开发者可以在 Gemini、GPT 和 Claude 之间自由挑选，设定回答的创意温度和 token 消耗上限，甚至能接入自己微调的大模型。声音、延迟、稳定性、通话最大时长也都可以拉滑块微调。

在业务落地上，这套系统允许直接扔进文件、网页链接或纯文本作为知识库。SDK 已经支持 Python、JavaScript、React 和 Swift，还给了 WebSocket API。企业甚至能直接用自然语言告诉系统「收集对方的名字和邮箱」，并用自然语言写明怎样才算一次成功的通话。

藏在后面的语音识别野心

很多人以为 ElevenLabs 只做声音合成，但实时对话必须先听得懂。ElevenLabs 这次专门为新产品自研了语音转文字（STT）能力。

这项技术目前还没有作为独立的 API 单独拿出来卖，但官方表示未来可能会开放。如果真放出来，意味着它将直接杀入 Whisper、Deepgram、AssemblyAI 以及亚马逊、谷歌等巨头盘踞的转录市场。

据报道，ElevenLabs 目前正寻求以超过 30 亿美元的估值进行新一轮融资。眼下它的对手不仅有 Vapi、Retell 这样专注语音机器人的创业公司，还有 OpenAI 刚刚推出的 Realtime API。ElevenLabs 认为，能够灵活换底层模型、丰富的自定义项，是自己抗衡 OpenAI 闭环的最大底牌。

为什么重要

我们认为，ElevenLabs 这一步走得相当敏锐，可以说是从「零配件供应商」向「整车厂」的一次关键跳跃。

对于做海外电话外呼、自动化客服或语音陪伴的团队来说，现在非常值得去试一试。以前组装一套能自然处理打断的语音系统，起码要搭两三周的工程架构，还要反复调延迟；现在直接在后台填知识库、选模型就能跑起来，试错成本被砍掉了大半。

但在行业竞争上，它的挑战依然很尖锐。像 OpenAI 的实时 API 走的是端到端音频处理，情绪、语气更加原生；而 ElevenLabs 走的依然是「语音转文字、大模型思考、文字转语音」的分步管道架构。即便声音再逼真，中间环节的延迟和语义损耗依旧是固有物理限制。

好在 ElevenLabs 聪明地保留了开放性。它没有强行绑定某一家模型，今天 Claude 聪明就接 Claude，明天 GPT 便宜就换 GPT，甚至允许接企业私有模型。在许多企业不敢把核心数据全盘托给 OpenAI 的当下，这种中立性很可能成为它抢夺企业客户的最强护城河。