跳到正文
IFAI

AI工具

ElevenLabs 接入 Claude 3.7 Sonnet:给语音 Agent 装上推理大脑

首次发布 传播指数 35

ElevenLabs 宣布在其 Conversational AI 平台接入 Claude 3.7 Sonnet。开发者现在可以结合该模型的混合推理能力与拟真语音,构建幻觉更少、长对话表现更稳的客服与虚拟导师 Agent。

ElevenLabs 接入 Claude 3.7 Sonnet:给语音 Agent 装上推理大脑
图:elevenlabs.io

如果把逼真的语音合成比作人的嗓子,那驱动它的底层大模型就是大脑。嗓子再动听,一旦大脑答非所问或者开始胡说八道,电话那头的用户立刻就会出戏。

做 AI 语音的 ElevenLabs 显然很清楚这一点。3 月 4 日,ElevenLabs 宣布在其 Conversational AI 平台中正式接入 Anthropic 的新旗舰模型 Claude 3.7 Sonnet。开发者现在创建语音智能体时,可以直接把大脑换成这个以混合推理见长的新模型。

让两台 AI 当场辩论

Claude 3.7 Sonnet 的核心招牌是混合推理能力。遇到简单日常对话,它能凭直觉秒回;遇到复杂问题,又能展开逐步分析。这种特性带到语音交互里,最直接的改善是指令遵循更稳、幻觉明显变少,而且长轮次对话不容易把前面的上下文忘光。

为了展示效果,ElevenLabs 甚至搞了一场两台 AI 之间的现场辩论。一台由 Claude 3.7 Sonnet 驱动,另一台则挂载 GPT-4o。ElevenLabs 表示,在实际交锋中,Claude 凭借更严谨的事实准确度和逻辑推理占了上风。

在配置上,开发者使用起来没什么门槛。只要在 ElevenLabs 控制台新建 Agent,在模型下拉列表里勾选 Claude 3.7 Sonnet,再挑一个现成音色或者上传自己的声音克隆,微调系统提示词后就能上线。

语音 Agent 的大脑军备竞赛

这次更新也把 ElevenLabs 的模型货架补齐了。在此之前,他们已经把 DeepSeek R1 接了进来。现在他们的平台里排着一套分工明确的阵容。

想要超低延迟和工具调用,可以选 Gemini Flash 2.0 或 1.5;想要兼顾多模态和通用表现,可以选 GPT-4o;想要深入思考、减少胡说,选 Claude 3.7 Sonnet。如果你有自己微调的私有模型,只要兼容 OpenAI API,也能直接接进来。

ElevenLabs 把这套能力主要推向四类场景:给学生讲复杂知识的虚拟导师、处理复杂纠纷的长流程客服、需要严谨事实的内容助手,以及能摆出多方视角的伦理辩论机器人。

为什么重要

语音交互过去最大的痛点是延迟与智商不可兼得。反应快的小模型经常听不懂人话,逻辑强的大模型又因为思考太久,导致语音对话里出现尴尬的沉默。我们认为,Claude 3.7 Sonnet 这种按需深思的混合模式,给实时语音提供了一个非常聪明的折中方案。

对于做 AI 客服或虚拟导师的团队来说,现在很值得去测一测效果。门槛没有变高,但你换来的可能是更少的客户投诉和更靠谱的多轮问答,尤其是在退换货政策、医疗或金融答疑这类容错率极低的领域。

从行业来看,ElevenLabs 的打法非常务实。它不去赌哪家大模型最终胜出,而是把自己做成最顶层的语音中枢,谁强就接谁。这既给开发者留足了选择权,也让纯做语音底层的竞争对手感到了压力:光声音逼真已经不够了,谁能把最聪明的大脑调教得像真人在打电话,谁才能拿下下一代人机交互的入口。

来源 (1)

  1. [1]
    elevenlabs.io(在新标签页打开)原文elevenlabs.io

每日 AI 内容精选