跳到正文
IFAI

開源專案

對標 Google:Meta 開源播客生成專案 NotebookLlama

首次發布 傳播指數 45

Meta 釋出開源專案 NotebookLlama,復刻了 Google NotebookLM 的雙人播客功能。它基於 Llama 模型將上傳文本轉為對話指令碼,再通過開源語音模型輸出。目前合成語音機械感較重且容易搶話,但為社群提供了可定製的開源基礎。

對標 Google:Meta 開源播客生成專案 NotebookLlama
圖:techcrunch.com

NotebookLlama 是 Meta 開源的一個播客生成專案,能把上傳的 PDF、新聞報道或部落格文章,自動轉換成雙人對談風格的播客音訊。說白了,它就是 Google NotebookLM 爆火播客功能的開源復刻版。

它怎麼把文章變成播客

整個處理流程主要由 Meta 自家的 Llama 模型驅動。

當你上傳一個文本檔案後,NotebookLlama 會先提取內容並生成基礎記錄。緊接著,模型會對這份草稿進行二次加工,加入戲劇化的口語表達以及彼此打斷的對話細節,模擬出兩人來回討論的播客指令碼。

最後,這份對話指令碼會被輸入到開源的文本轉語音(TTS)模型中,合成出最終的雙人對談音訊。

根據研究人員在 GitHub 頁面上的說明,目前專案還是用單個模型來撰寫整篇播客大綱。他們已經在考慮換一種思路:讓兩個 AI Agent 針對主題展開辯論,再合力寫出播客大綱,以此提升對話的真實感。

聽感和目前的短板

如果你指望它一上來就能達到 Google NotebookLM 那樣自然流暢的播客效果,目前恐怕會失望。

在現有的測試音訊裡,兩個生成出來的聲音有著非常明顯的機械感,電子味很重。更尷尬的是,兩位虛擬主持人在對話時,經常會在奇怪的地方互相搶話、疊音,聽起來節奏有些怪異。

Meta 背後的研究團隊坦言,聲音聽起來不夠自然,主要瓶頸在於目前的開源 TTS 模型。他們認為,未來換用更強的大模型和語音合成工具,質量還有很大提升空間。

此外,它依然沒能逃過困擾所有 AI 的幻覺問題。無論原版 NotebookLM 還是社群裡的各種復刻版本,生成的播客裡多多少少都會包含一些模型自己胡編亂造的內容,核對事實依然必不可少。

程式碼和具體實現目前已經託管在 GitHub 上,想自己動手的開發者可以直接拉取專案研究。

為什麼重要

我們認為,NotebookLlama 現階段的價值不在於聽感有多驚豔,而在於它把 Google 封在黑盒裡的殺手級功能徹底拆解成了一張開源圖紙。

NotebookLM 效果雖好,但使用者無法插手中間環節,既不能隨意換音色,也無法完全本地化執行私有文件。NotebookLlama 現階段雖然像個半成品,破綻不少,但它把文本切片、對話擴寫再到語音渲染的整個管線完全攤開了。

對普通聽眾來說,目前完全沒必要捨棄成熟的原版工具來折騰它。但對開發者而言,這是一個極佳的實驗底座。只要換掉後面的開源 TTS 引擎,或者按研究團隊的設想改成雙 Agent 辯論架構,就能迅速搭建出一套專屬的本地播客生成器。Meta 這一步,又一次把前沿體驗的復刻門檻打到了地面。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選