跳到正文
IFAI

AIGC

字節跳動釋出 X-Portrait 2:讓一張靜態照片演《閃靈》

首次發布 傳播指數 31

字節跳動推出 AI 系統 X-Portrait 2,僅憑單張照片就能重現經典電影裡的複雜表情。它放棄了傳統打點追蹤,直接學習整張臉的肌肉流動,連驚恐與狂喜都能逼真呈現。出於深度偽造與濫用擔憂,位元組目前未對外公開程式碼。

字節跳動釋出 X-Portrait 2:讓一張靜態照片演《閃靈》
圖:venturebeat.com

給 AI 一張你的自拍照,再扔一段經典電影片段,幾秒鐘後,照片裡的人就能演出跟原片影帝一模一樣的狂怒、驚恐或冷笑。

字節跳動最近公佈了名為 X-Portrait 2 的面部動效生成系統。在官方演示裡,一張普通的靜態人像直接演起了《閃靈》、《變臉》和《藩籬》裡的經典橋段,面部肌肉的細微顫抖、眼波流轉都還原得絲絲入扣,甚至連動漫插畫和復古油畫人像,也能被同一段影片驅動得極具感染力。

扔掉關鍵點,直接學整張臉怎麼動

過去幾年裡的照片轉影片工具,大多有一股濃重的假面感。只要畫面裡的人大幅度轉頭或者說話變快,嘴唇周圍就會出現模糊、拉伸或機械式的扭曲。

傳統面部動畫的做法,是在五官上打幾十上百個關鍵點,靠追蹤這些點的位置變化來拽著皮膚變形。這就像木偶拉線,動作稍微劇烈一點就會穿幫。

X-Portrait 2 換了思路。它不再追蹤離散的點,而是讓模型直接觀察和學習整張人臉在連續運動中的肌肉流動。不管鏡頭角度怎麼變,或者角色在極快地語速下講話,整個面部的微表情都能平滑過渡。

技術路線是一方面,更關鍵的其實是訓練素材。位元組擁有每天產生超過 10 億條影片的 TikTok 龐大內容庫,這讓它擁有業內幾乎無人能比的高密度、跨人種、跨光照條件的真實人類表情資料,根本不需要像同行那樣靠合成數據湊數。

一邊擴張算力,一邊把模型關進抽屜

位元組的技術步子邁得很大,但開源策略卻格外謹慎。面對美國政界討論、加拿大此前下令要求 TikTok 終止業務的監管壓力,以及外界對換臉假影片的擔憂,位元組選擇把 X-Portrait 2 的程式碼私有化,並沒有公開放出。

與此同時,位元組正在把 AI 版圖向全球鋪開。除了計劃在馬來西亞斥資 21.3 億美元建設 AI 中心,他們還在籌備瑞士、英國和法國等歐洲研發中心,並保持與清華大學等學術機構的合作。

把人像驅動做到以假亂真,也讓外界再次警惕安全問題。尤其是今年 10 月位元組內部才剛開除了一名涉嫌干擾 AI 模型訓練的實習生,模型資產與生成式濫用的防線正變得越來越敏感。

為什麼重要

我們認為,X-Portrait 2 展現了位元組在多模態賽道上極具殺傷力的差異化路線。當 OpenAI 和 Anthropic 把精力壓在大語言模型上時,位元組把寶押在了自己最熟悉的東西上:人在鏡頭前是怎麼動、怎麼表達情緒的。

對影視製作和虛擬內容行業來說,這種技術的影響是立竿見影的。好萊塢大廠以往做一個高質量的面部表情捕捉,要花數百萬美元買動捕頭盔和掃描陣列,再配上幾百名動畫師手工修穿模。X-Portrait 2 意味著以後可能只需要一段參考表演和一張圖,就能把動捕成本砍掉幾個數量級,獨立創作者也能碰以前大廠才玩得起的數字人表演。

但目前普通人根本用不上它,這反而是位元組聰明但也無奈的地方。在大選餘波與深度偽造氾濫的當下,把這類工具直接扔進開源社群無異於引火燒身。我們認為它短期內大機率只會作為剪映或 TikTok 的內部特效底座,或者以受限 API 的形式落地。技術護城河雖然靠 TikTok 的十億使用者影片餵飽了,但在地緣政治和監管審視下,如何證明自己不會變成造假流水線,才是它真正難跨過去的關卡。

來源 (1)

  1. [1]
    venturebeat.com(在新分頁開啟)原文venturebeat.com

話題追蹤字節跳動開發生成式影片模型以競爭 Sora

這個話題的歷次新聞,最新的在上面。

  1. 字節跳動釋出 X-Portrait 2:讓一張靜態照片演《閃靈》本則
  2. 字節跳動推兩款影片模型:PixelDance 攻克多鏡頭,Seaweed 達兩分鐘
  3. 字節跳動上線「即夢 AI」iOS 版:支援文生圖和影片,月費 69 元

每日 AI 內容精選