跳到正文
IFAI

大模型

Cartesia 釋出 Sonic-3.5 與 Ink-2:包攬流式語音「聽說」雙榜首

首次發布 傳播指數 50

Cartesia 推出語音合成模型 Sonic-3.5 與轉錄模型 Ink-2,登頂 Artificial Analysis 流式榜單。兩款模型基於狀態空間架構,首包延遲壓至 300 毫秒內並自帶輪次檢測,旨在解決語音智慧體的對話卡頓。目前已全面開放 API。

Cartesia 釋出 Sonic-3.5 與 Ink-2:包攬流式語音「聽說」雙榜首
圖:creativeainews.com

如果你跟現在的很多 AI 語音客服打過電話,最讓人難受的往往不是它答不上來,而是那種機械的遲鈍感。你剛說完一句,對面死寂兩秒;或者你只是中間喘口氣,它就急著插嘴。

語音 AI 初創團隊 Cartesia 拿出了兩款新模型:語音合成模型 Sonic-3.5 與轉錄模型 Ink-2。按照官方資料,這一對組合在第三方基準評測機構 Artificial Analysis 的流式榜單上,同時拿下了生成自然度和轉錄準確率的第一名。

創始人 Karan Goel 直言,他們現在是業內唯一一家在「聽」和「說」兩端同時做到流式第一的供應商。

把延遲壓進 300 毫秒以內

大多數語音模型還在用主流的 Transformer 架構,但 Cartesia 押注的是狀態空間模型(State Space Model)。這種底層架構的變化,最直觀的收益就是速度。

根據官方公佈的資料,負責朗讀的 Sonic-3.5 首包延遲中位數被壓到了 300 毫秒以內。這個數字足夠低,低到人機之間的連續對話基本感覺不到網路緩衝的滯後。

在表現力上,Sonic-3.5 比前代 Sonic-3 優化了節奏和情緒起伏,並且念長串代號、ID 和字母數字混合串時不容易唸錯。目前它的釋出頁面標稱支援 40 多種語言,不過更新日誌裡也老老實實寫明,底層還是以英語為核心逐步向外擴,多語言團隊上線前最好自己跑一遍測試。

負責聽音的 Ink-2 則主打即時流式轉錄。它專為嘈雜現實環境調優,最大的亮點是把輪次檢測和語義端點檢測直接做進了模型裡。它能根據句意判斷你是真的講完了,還是隻是短暫停頓,不用開發者再去靠死板的靜音倒計時來猜。

目前兩款模型已經通過 WebSocket、REST API 以及公開 Playground 全面開放,官方還直接提供了 Python 和 TypeScript 的 SDK,並接入了主流的 Pipecat 和 LiveKit 智慧體開發框架。

為什麼重要

我們認為,Cartesia 這一步走得相當清醒。

即時語音智慧體本質上是一個閉環:聽、轉錄、思考、開口,然後再迴圈。過去大部分團隊做語音應用,都是從 A 家買轉錄、傳給 B 家大模型推理、再丟給 C 家做配音。每一跳都是一次網路延遲,也多了一處容易打斷、容易搶話的縫隙。

把「聽」和「說」兩端合到一起,意味著進出兩端的邏輯可以深度咬合。Ink-2 確認使用者說完的那一瞬間,就能立刻通知 Sonic-3.5 起調開講。對於要做電話外呼、即時口語外教或者應用內語音助手的團隊來說,這種端到端的敏捷度幾乎是剛需。

當然,語音市場現在也分化得非常明顯。如果你需要的是長篇影視旁白、角色扮演或者極其細膩的配音,ElevenLabs 仍然是表現力更強的選擇;如果你追求資料隱私或極低成本,用 NVIDIA Nemotron 3.5 這類開源 ASR 配合 Higgs Audio v3 自己在本地搭,也是一條路,只是網路工程和延遲最佳化全得自己扛。

Cartesia 沒打算贏下所有場景,它就是把所有籌碼都押在「超低延遲即時對話」這條賽道上。它把最難調的交接棒邏輯做成了開箱即用,這會倒逼其他單點語音供應商加快整合自己的前後鏈路。

來源 (1)

  1. [1]

每日 AI 內容精選