跳到正文
IFAI

AIGC

Luma AI 釋出影片模型 Ray 2:最長生成 1 分鐘,全系入駐 AWS Bedrock

首次發布 傳播指數 56

Luma AI 推出新一代影片生成模型 Ray 2,生成時長從之前的 5 秒拉長到最長 1 分鐘,最快 10 秒出片。同時 Luma 與 AWS 達成戰略合作,將視覺模型接入 Amazon Bedrock,並藉助 Trainium 等自研晶片壓低訓練與推理成本。

Luma AI 釋出影片模型 Ray 2:最長生成 1 分鐘,全系入駐 AWS Bedrock
圖:aws.amazon.com

AI 影片生成最讓創作者頭疼的兩件事,一是時長太短,幾秒鐘的片段很難講完一個鏡頭;二是算力太貴,出片慢還經常排隊。

在 AWS re:Invent 大會上,Luma AI 正式拿出了新一代影片生成模型 Ray 2,同時宣佈把全系模型搬上亞馬遜雲科技的 Amazon Bedrock。

這家靠 Dream Machine 積累了 2500 萬註冊使用者的初創團隊,這次不僅拉長了影片長度,還直接找來亞馬遜當靠山,試圖把生成速度和成本一併解決。

從 5 秒拉長到 1 分鐘,最快 10 秒出片

Ray 2 最直觀的變化是時長。上一代模型生成的片段只有 5 秒,而 Ray 2 可以一口氣生成 5 到 10 秒的高動態片段,並支援擴充套件到最長 1 分鐘。

生成速度也進一步加快,部分文本或圖片提示詞最快 10 秒就能出片。對於需要反覆抽卡、除錯提示詞的創作者來說,等待時間大幅縮短。

在底層架構上,Ray 2 基於多模態 Transformer 架構,並且直接在大量影片資料上訓練。官方稱它能更好理解人、動物與環境之間的物理互動,保持角色在不同動作下的一致性。

鏡頭的排程也更加電影化。無論是宏大的全景掃攝,還是細膩的面部特寫,運鏡動作都更加平滑,減少了過去 AI 影片常見的畫面畸變和掉幀抽搐。

抱上亞馬遜大腿,藉助自研晶片壓低成本

除了向普通使用者開放 Dream Machine,Luma AI 這次把重心放在了開發者和企業級市場上。

通過與 AWS 的戰略合作,Ray 2 以及 Luma 現有的視覺模型將全系入駐 Amazon Bedrock。企業開發者不需要自己搭建複雜的多模態管線,通過單一 API 就能直接呼叫這些影片能力。

作為交換,AWS 成為了 Luma AI 的首選算力合作伙伴。Luma 的基礎模型正在使用 Amazon SageMaker HyperPod 的叢集基礎設施進行訓練。

更關鍵的一步是晶片。Luma 宣佈將把模型遷移到 AWS 的自研 AI 晶片 Trainium 和 Inferentia 上,通過定製硬體來降低模型訓練與日常推理的賬單開銷。

Luma 聯合創始人兼 CEO Amit Jain 表示,影片已經成為最重要的表達形式,他們希望通過 Bedrock 讓沒有深厚藝術背景的人也能順暢運用視覺 AI 工具。

為什麼重要

我們認為,Ray 2 最大的看點不在於多生成了幾秒鐘,而在於影片生成正在從「玩具」走向可用的工作流。

1 分鐘的時長配合角色一致性和電影級運鏡,意味著個人創作者和小型團隊終於能用它來拼接完整的分鏡故事,而不是隻能生成幾秒鐘的動圖或空鏡頭。10 秒級的出片速度也大幅降低了試錯門檻。

從商業角度看,Luma AI 走了一步非常務實的棋。這家融了 8000 萬美元、團隊極度精簡的公司,面對 Runway、Pika 以及各大科技巨頭的夾擊,算力開銷是最致命的瓶頸。

繫結 AWS 既讓它獲得了企業級客戶的分發渠道,又通過 Trainium 和 Inferentia 晶片避開了對輝達昂貴 GPU 的絕對依賴。對於 AWS 來說,Bedrock 也藉此補齊了在高質量影片生成領域的拼圖,可以直接正面抗衡其他雲廠商的多模態生態。

來源 (3)

  1. [1]
    twitter.com(在新分頁開啟)原文twitter.com
  2. [2]
  3. [3]

每日 AI 內容精選