跳到正文
IFAI

大模型

Kyutai 釋出同傳模型 Hibiki:即時法語譯英語,保留原聲與語速

首次發布 傳播指數 47

Kyutai 釋出即時語音同傳模型 Hibiki,目前支援法譯英。它在即時輸出語音與文本翻譯的同時保留原說話者聲線,並依據語義自適應調節語速。官方評估顯示其自然度與音色相似度已逼近專業人類同傳。

Kyutai 釋出同傳模型 Hibiki:即時法語譯英語,保留原聲與語速
圖:x.com

跨語言交流最尷尬的時刻,莫過於翻譯軟體一開口,你原本的聲音和情緒全被替換成了毫無生氣的機械音。

法國 AI 實驗室 Kyutai 釋出了即時語音互譯模型 Hibiki。目前 Hibiki 率先支援法譯英,能一邊接收法語輸入,一邊即時輸出英文語音和文本。

像人類譯員一樣掌控語速與原聲

Hibiki 的核心亮點在於聲音的還原度與節奏感。

它在翻譯的同時能直接保留說話人原本的音色,不會讓人聽起來像換了一個人說話。

同時,它會根據原句的語義內容動態微調輸出的語速和節奏,避免機器同傳常見的突兀搶話或過長留白。

根據 Kyutai 公佈的客觀指標與人工盲測資料,Hibiki 在翻譯質量、自然度以及說話人音色相似度上都超過了以往的系統,整體表現正在逼近人類專業口譯員。

為什麼重要

傳統的語音翻譯大多依賴多模組串聯,先轉文字、再翻譯、再合成語音,不僅延遲明顯,說話人的個性和情緒也會在流水線裡被磨平。

Kyutai 這次直接攻堅端到端的即時語音翻譯,把原聲音色和動態語速作為核心突破點,我們認為這是真正走向可用級同傳的關鍵一步。

不過,目前 Hibiki 僅支援法語到英語這一個單向通道,對絕大多數人來說還只是一個技術演示,實用範圍相當有限。

但它向行業證明了,未來的跨語言溝通完全可以在保留演講者個人辨識度的前提下即時進行,跨國會議和跨語言直播的溝通體驗有望徹底變樣。

來源 (1)

  1. [1]
    @kyutai_labs(在新分頁開啟)原文twitter.com

每日 AI 內容精選