ElevenLabs 推出對話式 AI 構建平臺：可自由切換 GPT 與 Claude

如果你之前想做一個能聽、會想、還能開口說話的 AI 電話客服，流程通常非常折磨人。你得找一家做語音識別的，把聲音轉成文字塞給 GPT 或 Claude，再把回答接回像 ElevenLabs 這樣的語音合成平臺，最後還得自己寫一套複雜的程式碼去判斷「對方什麼時候插話了」。

現在，靠聲音克隆和擬真配音起家的 ElevenLabs 決定把這個麻煩事自己包圓了。11 月 18 日，ElevenLabs 宣佈在開發者平臺上正式推出完整的對話式 AI Agent 構建功能，讓使用者直接搭建能夠即時交流的語音助手。

把拼積木的活兒全包了

ElevenLabs 的增長負責人 Sam Sklar 對 TechCrunch 透露，其實之前就有很多客戶在拿他們的聲音做對話機器人。但實際做起來時，最折磨開發者的往往不是聲音像不像，而是怎麼把自己的業務知識庫塞進去，以及怎麼處理真人說話時的打斷和停頓。

為了解決這個問題，他們乾脆搭了一整套完整的互動管道。開發者現在登入平臺後，可以直接挑一個模板建專案，設定助手的母語、開場白以及決定人設的系統提示詞。

更實在的是底層模型的選擇權。開發者可以在 Gemini、GPT 和 Claude 之間自由挑選，設定回答的創意溫度和 token 消耗上限，甚至能接入自己微調的大模型。聲音、延遲、穩定性、通話最大時長也都可以拉滑塊微調。

在業務落地上，這套系統允許直接扔進檔案、網頁連結或純文本作為知識庫。SDK 已經支援 Python、JavaScript、React 和 Swift，還給了 WebSocket API。企業甚至能直接用自然語言告訴系統「收集對方的名字和郵箱」，並用自然語言寫明怎樣才算一次成功的通話。

藏在後面的語音識別野心

很多人以為 ElevenLabs 只做聲音合成，但即時對話必須先聽得懂。ElevenLabs 這次專門為新產品自研了語音轉文字（STT）能力。

這項技術目前還沒有作為獨立的 API 單獨拿出來賣，但官方表示未來可能會開放。如果真放出來，意味著它將直接殺入 Whisper、Deepgram、AssemblyAI 以及亞馬遜、谷歌等巨頭盤踞的轉錄市場。

據報道，ElevenLabs 目前正尋求以超過 30 億美元的估值進行新一輪融資。眼下它的對手不僅有 Vapi、Retell 這樣專注語音機器人的創業公司，還有 OpenAI 剛剛推出的 Realtime API。ElevenLabs 認為，能夠靈活換底層模型、豐富的自定義項，是自己抗衡 OpenAI 閉環的最大底牌。

為什麼重要

我們認為，ElevenLabs 這一步走得相當敏銳，可以說是從「零配件供應商」向「整車廠」的一次關鍵跳躍。

對於做海外電話外呼、自動化客服或語音陪伴的團隊來說，現在非常值得去試一試。以前組裝一套能自然處理打斷的語音系統，起碼要搭兩三週的工程架構，還要反覆調延遲；現在直接在後臺填知識庫、選模型就能跑起來，試錯成本被砍掉了大半。

但在行業競爭上，它的挑戰依然很尖銳。像 OpenAI 的即時 API 走的是端到端音訊處理，情緒、語氣更加原生；而 ElevenLabs 走的依然是「語音轉文字、大模型思考、文字轉語音」的分步管道架構。即便聲音再逼真，中間環節的延遲和語義損耗依舊是固有物理限制。

好在 ElevenLabs 聰明地保留了開放性。它沒有強行繫結某一家模型，今天 Claude 聰明就接 Claude，明天 GPT 便宜就換 GPT，甚至允許接企業私有模型。在許多企業不敢把核心資料全盤托給 OpenAI 的當下，這種中立性很可能成為它搶奪企業客戶的最強護城河。