跳到正文
IFAI

開源專案

騰訊混元開源圖生影片模型:130 億引數,自帶音效與對口型

首次發布 傳播指數 51

騰訊混元正式開源圖生影片模型 HunyuanVideo-I2V,權重與 LoRA 訓練程式碼全公開。模型總引數量 130 億,傳一張圖就能生成帶音效的 5 秒 2K 影片,還支援動作驅動和人物對口型。普通使用者可在混元官網體驗,開發者可在 GitHub 直接下載。

騰訊混元剛剛把自己的圖生影片模型 HunyuanVideo-I2V 開源了,連同權重、推理程式碼和 LoRA 訓練程式碼一次性全放了出來。

簡單來說,你只要給它一張靜態圖,再加上一句動作描述或運鏡指令,它就能吐出一支 5 秒長、2K 解析度的短影片,而且會自動配好對應的背景音效。

它能做什麼

除了常規的讓圖片動起來,這次開源還帶了兩個很實用的玩法:對口型和動作驅動。

如果你上傳一張人物肖像,輸入一段文字或者音訊,模型就能讓畫面裡的人物跟著節奏開口說話或者唱歌。

動作驅動則更進一步。你可以用它來做姿態遷移,比如傳一張角色的靜態立繪,就能一鍵讓它跳出指定的舞蹈動作。官方給出的範圍不僅限於真人寫實,動漫角色甚至 CGI 虛擬角色都能跑得通。

普通使用者現在可以直接去混元 AI 影片官網線上體驗,企業和開發者也可以通過騰訊雲申請 API。想在自己機器上折騰的,去 GitHub 或者 Hugging Face 搜 HunyuanVideo-I2V 就能直接拉取程式碼和權重。

模型細節與開源內容

這個圖生影片模型延續了混元文生影片的技術路線,總引數量保持在 130 億。

根據混元釋出的技術報告,圖生影片和之前的文生影片是在同一個資料集上做的預訓練。它支援結合影像、文本、音訊和姿態等多種輸入條件,以此來實現對畫面動作和原生鏡頭切換的控制。

這次開源最大的誠意在於放出了 LoRA 訓練程式碼。這意味著開發者不需要重新去啃那 130 億引數的完整預訓練,只要準備少量高質量特定畫風或動作的資料,就能在本地訓練專屬的衍生模型。

目前混元開源系列已經覆蓋了文本、影像、影片和 3D 生成,在 GitHub 上累計拿到了超過 2.3 萬個標星。

為什麼重要

開源影片生成領域一直缺一個真正好用、控制力強且帶配套工具鏈的底座。很多開源專案要麼只放演示,要麼程式碼不完整,普通開發者很難在上面做二次開發。

混元把 130 億引數的權重和 LoRA 訓練指令碼全拿出來,直接降低了社群微調影片模型的門檻。對做遊戲資產、動畫短片或者自媒體特效的創作者來說,它是一個值得立刻拿去跑一跑的本地生產力工具。

不過 130 億引數對視訊記憶體的要求並不低,想要在本地流暢跑推理甚至做 LoRA 微調,硬體門檻依然擺在那裡。我們認為,它的真正價值在於給開源生態打了一劑強心針,逼著同類商業閉源工具在控制度和定製能力上拿出更多真東西。

來源 (2)

  1. [1]
    @TXhunyuan(在新分頁開啟)原文twitter.com
  2. [2]

話題追蹤騰訊 HunyuanVideo 系列模型

這個話題的歷次新聞,最新的在上面。

  1. 騰訊開源 HunyuanVideo-Avatar:一張照片配音訊,秒變會唱會聊的數字人
  2. 騰訊混元開源圖生影片模型:130 億引數,自帶音效與對口型本則

每日 AI 內容精選