跳到正文
IFAI

大模型

MiniMax 釋出全模態模型 H3:自帶立體聲 2K 影片,權重即將開源

首次發布 傳播指數 61

MiniMax 宣佈推出通用全模態模型 H3,打破任務與模態界限,能統一理解並生成文本、影像、影片和音訊。模型支援最長 15 秒、最高 2K 解析度的原生立體聲影片生成。最值得關注的是,官方承諾未來幾天將開源權重,且 2K 單秒生成價格宣稱不足主流模型的三分之一。

MiniMax 釋出全模態模型 H3:自帶立體聲 2K 影片,權重即將開源
圖:minimax.io

做過 AI 影片創作的人都知道,過去的工作流有多碎:先用文生圖模型刷分鏡,再挑圖扔進圖生影片模型碰運氣,最後還要找專門的音訊模型配背景樂和音效。一旦想讓角色卡著節拍換個運鏡,整套流程基本就得推倒重來。

MiniMax 正式推出了通用全模態模型 H3。這家之前打造了海螺 AI(Hailuo)的公司,這次試圖把所有被拆碎的工序打包裝進同一個模型裡。更抓人眼球的是,在閉源商業模型長期盤踞的高畫質影片賽道,MiniMax 宣佈將在未來幾天把 H3 的模型權重完全開源。

4 種模態揉進同一句指令

H3 最直接的能力,是能同時理解文本、影像、影片和音訊,並直接輸出帶原生立體聲、最高 2K 解析度、最長 15 秒的影片。

以前做影片生成,行業裡塞滿了各種各樣的「專項專家模型」:圖生影片、文生影片、首尾幀控制、主體參考、動作遷移全部分家。H3 則走了一條徹底通用的路線,把這些關係全部交給語言去排程。

比如你可以給它一段複雜的跨模態指令:「參考影片 1 的希區柯克式運鏡,讓圖 2 的人物開口唱歌,人聲還要對齊音訊 3 的音軌」。模型自己會理解這幾份素材之間的邏輯關聯。

在海外博主的實際測試裡,無論是給兩張圖片讓它拼出一段預告片,還是輸入一段綠幕素材與指定背景合成,H3 都能準確跟牢提示。甚至扔給它一段開源工具生成的音樂和一張韓團照片,它也能剪出一支在 3 秒節奏點內精準硬切卡點的 MV。

架構做減法,2K 畫面自己修

為了把這些複雜任務塞進一個體系,MiniMax 在工程上做了不少調整。

首先是理解流程。面對輸入的多模態材料,H3 會通過專用的全模態理解管道,把大約 10 萬 token 的推理壓縮到 4000 token 左右,以此建立全域性上下文表徵。

其次是架構設計。MiniMax 放棄了上一代 Hailuo 02 的一些設計,改用專為通用化設計的 H3-Omni Transformer。他們在訓練時把理解和生成的計算負載拆分開,硬體利用率最佳化後,端到端的訓練吞吐提升了近 30%。

很有意思的一點是畫質生成機制。以往做 2K 影片,通常是在生成低清影片後再套一層單獨的超解析度模組。但這種超分演算法往往是靠「猜」來腦補細節,遇到小字和品牌標誌很容易露餡。

H3 採用了上下文內再生成(In-Context Regeneration),直接讓基座模型呼叫最初的完整多模態上下文,重新生成高解析度畫面。這樣不僅複用了基座模型的生成能力,還能把原始素材裡的微小文字和細節準確還原出來。

在成本上,MiniMax 宣稱其 2K 影片每秒生成價格不足主流模型的三分之一。據博主實測,在官方平臺生成一段 10 秒影片大約消耗 120 積分,摺合 1.2 美元,價格比字節跳動的同類方案便宜將近三倍。

為什麼重要

對創作者和中小團隊來說,H3 是影片生成領域極具衝擊力的一次突破。長久以來,高畫質、帶音效且遵循度高的影片模型基本被商業閉源平臺壟斷。一旦 H3 的權重如約開源,開發者和工作室就能在私有算力上自由微調,把廣告展示、電商產品設計和動態海報的生產管線真正本地化,而不需要受制於外部 API 的配額和稽核。

對行業而言,MiniMax 這一招直接把競爭維度從「畫質卷不卷」拉到了「全模態架構統一度」上。把視覺、文本和立體聲音訊統一在一個模型裡原生生成,不僅大幅降低了拼接工具鏈的工程複雜度,也會倒逼還在用拼接方案的對手加速底層架構的重構。

我們認為,MiniMax 這一步走得相當清醒:用自然語言作為全模態互動的橋梁,遠比給每個任務搭積木更具備擴充套件性。不過全模態聯合訓練在工程和算力上的要求極其嚴苛,MiniMax 自己也提到模型在複雜場景的視覺細節上依然有侷限。接下來最關鍵的看點,就在於即將放出的權重到底能在開源硬體生態上適配到什麼程度,這才是決定它能否真正顛覆閉源護城河的核心檢驗。

來源 (3)

  1. [1]
    x.com(在新分頁開啟)原文x.com
  2. [2]
    minimax.io(在新分頁開啟)報導minimax.io
  3. [3]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選