跳到正文
IFAI

AIGC

Pika 上線 Lip Sync 功能:接入 ElevenLabs,AI 角色開口能對上口型

首次發布 傳播指數 50

Pika 推出 Lip Sync 功能,接入 ElevenLabs 提供配音,讓影片角色的嘴型能與臺詞同步。它支援文本轉語音或上傳音訊,省去了繁瑣的後期外掛工具。不過該功能目前僅限 Pika Pro 付費使用者和受邀測試者使用。

Pika 上線 Lip Sync 功能:接入 ElevenLabs,AI 角色開口能對上口型
圖:x.com

看多了 AI 生成的影片,你大概早就發現了一個尷尬的秘密:畫面裡的角色要麼閉嘴扮酷,要麼像啞劇演員一樣乾瞪眼。只要一張嘴說話,畫風立刻崩成搞笑片。

AI 影片生成平臺 Pika 宣佈推出一項名為 Lip Sync 的新功能,試圖打破這個僵局。他們拉來了生成式音訊領域的獨角獸 ElevenLabs 合作,直接在影片生成流程裡把對口型這件事給辦了。

簡單來說,你生成的 AI 角色現在能正常開口說話了,而且嘴型能對得上聲音。你可以直接敲下一段臺詞讓 ElevenLabs 生成語音,也可以自己錄一段音訊傳上去,角色嘴部動作會跟著臺詞的節奏自然開合,連音色和說話風格也能隨意調整。

不過這項功能目前還在早期訪問階段,門檻一點也不低。使用者要麼得訂閱 Pika Pro,按年付費摺合每月 58 美元,一次性得掏 696 美元;要麼就得是 Pika 在 Discord 社群裡定向邀請的 Super Collaborators 成員。

告別五毛錢特效的草臺班子

在此之前,想要讓 AI 影片角色開口說話,創作者的痛苦指數相當高。

你得先把畫面匯出來,扔進第三方口型匹配工具裡反覆折騰,再拿去剪輯軟體裡手動微調音畫同步。最後折騰出來的成品,往往帶著濃濃的五毛錢劣質感,像極了古早的《蒙提·派森》剪紙惡搞短劇。

Pika 這次直接把對口型做成了原生功能,等於把敘事類短劇和微電影製作中最耗時間的一道坎給平掉了。雖然單論畫面質感和物理世界的逼真度,Pika 相比 OpenAI 驚豔眾人的 Sora 甚至對手 Runway 還有差距,但在滿足連貫敘事這條路上,它反而搶先跑出了一步。

同行的動作同樣很快。就在同一周,Runway 也升級了自己的 Multi Motion Brush 功能,在原本支援對五個不同物體新增獨立運動方向的基礎上,加入了區域自動檢測功能,創作者不用再拿筆刷費勁塗抹了。相比之下,Pika 雖然支援擴圖和區域性編輯,但還沒做出類似的高精度筆刷,在運動控制的細膩程度上稍遜一籌。

爭議也隨之而來。AI 認證機構 Fairly Trained 創始人、前 Stability AI 音訊副總裁 Ed Newton-Rex 就在 X 上直接向 Pika 發難,公開質問他們的影片模型到底是用什麼資料訓練出來的。而在好萊塢,名導 Tyler Perry 甚至在看到 Sora 的演示後直接叫停了價值 8 億美元的製片廠擴建計劃,整個影視行業對飯碗的焦慮正在迅速蔓延。

為什麼重要

我們認為,Pika 這一步走得相當務實,甚至比單純卷畫質更切中當下的創作痛點。

對內容創作者和獨立開發者來說,Sora 再強大也依然被 OpenAI 鎖在實驗室裡,只能看演示流口水。而 Pika 的 Lip Sync 是一個活生生、能立即嵌進工作流的生產力工具。對於想做 AI 漫劇、短影片劇情賬號或者商業解說影片的團隊,它把以前需要跨兩三個軟體才能完成的多人對話場景,壓縮成了輸入文字就能生成的日常操作。唯一讓人猶豫的是每年 696 美元的高昂門檻,如果不是靠影片直接變現的重度創作者,現在掏這筆錢確實有點肉疼。

在行業競爭上,這標誌著 AI 影片工具的競爭焦點正在從單幀畫面的靜態美學轉向多模態生產工具鏈的整合。影片不能只有畫面,聲音、對白和表情的協同才是影視語言的本質。Pika 聰明的地方在於沒有自己硬造語音輪子,而是直接接入業界標杆 ElevenLabs,用成熟生態來補全自己的短板。

但這裡的隱患也顯而易見。首先是外部依賴度高,核心的聲音資產並非自研;其次是資料版權這顆定時炸彈始終懸在頭頂,行業質疑聲越大,未來商業化落地時面臨的合規阻力就越重。不過無論如何,AI 角色啞巴演戲的時代,看起來終於要畫上句號了。

來源 (2)

  1. [1]
    @pika_labs(在新分頁開啟)原文twitter.com
  2. [2]

每日 AI 內容精選