亞馬遜研發多模態大模型 Olympus:能讀懂影片,減少對 Anthropic 依賴
據 The Information 週三報道,Amazon 研發了代號為 Olympus 的多模態大模型,能處理文本、影像和影片,支援用文字搜尋影片中的特定瞬間。儘管亞馬遜剛向 Anthropic 追加了 40 億美元投資,但自研模型顯然是為了減少對 Claude 的依賴。該模型最早可能在下週的 AWS re:Invent 上公佈。
據 The Information 週三報道,Amazon 研發了代號為 Olympus 的多模態大模型,能處理文本、影像和影片,支援用文字搜尋影片中的特定瞬間。儘管亞馬遜剛向 Anthropic 追加了 40 億美元投資,但自研模型顯然是為了減少對 Claude 的依賴。該模型最早可能在下週的 AWS re:Invent 上公佈。
Adobe Research 推出多模態影片音效生成技術 MultiFoley。它能識別畫面動作,把打字機聲換成鋼琴聲、讓貓叫變成獅吼,並將現有音效精準對齊影片時間點。這意味著影片擬音製作無需逐幀手動對軌,創意換聲變得極其簡單。
藝術家團體「Sora PR Puppets」將 OpenAI 影片模型 Sora 的測試介面掛上 Hugging Face,一度允許公眾免費生成 1080p 影片。該團隊指責 OpenAI 利用早期測試藝術家進行無償勞動與公關造勢。該入口上線約三小時後已被封禁。
IMAX 宣佈與初創公司 Camb.ai 達成合作,計劃使用其 Boli 和 Mars 等 AI 語音模型,為紀錄片等原創內容做多語言本地化翻譯和配音。Camb.ai 支援 140 種語言,IMAX 打算分階段推進,先從常見語言開始落地,以此壓縮譯配成本並擴大受眾覆蓋。
Luma AI 宣佈將影片生成工具 Dream Machine 拓展為完整創作平臺。官方同步推出 Photon 影像生成基礎模型,宣稱處理速度比同類快最高 800%,並上線全新 UI、iOS 移動端以及面向開發者的 API。
Runway 推出「Expand Video」功能。使用者輸入提示詞即可在原影片周圍生成新畫面來調整比例,多次擴充套件還能拼出急速拉遠等運鏡效果。目前該功能正逐步向 Gen-3 Alpha Turbo 使用者推送。
Lightricks 宣佈開源影片生成模型 LTX Video(LTXV)。該模型僅 20 億引數,採用 DiT 架構,在 RTX 4090 等消費級顯示卡上也能近即時執行,4 秒即可生成 5 秒影片。它的開源讓創作者在本地電腦就能快速試錯,直接向閉源巨頭叫板。
HeyGen 正式上線 iOS 移動應用,把數字人生成和影片翻譯能力搬上了 iPhone。使用者可以在手機上製作逼真數字人,並將影片快速翻譯成 175 種以上的語言。說白了,創作者今後掏出手機就能隨時隨地做多語言影片。
ESPN 宣佈正在測試名為 FACTS 的生成式 AI 虛擬形象。它接入官方分析資料庫,結合輝達 ACE 與 ElevenLabs 語音技術,為橄欖球節目補充資料分析。ESPN 強調其絕非為了取代真人解說,目前仍在開發中。
Coca-Cola 推出首部由生成式 AI 製作的 2024 聖誕廣告,引發不少老觀眾反彈。這支 15 秒短片翻新了 1995 年的經典卡車巡遊,但聖誕老人幾乎全程隱身,AI 質感也招來缺乏人情味的批評。這凸顯出把經典溫情 IP 換成 AI 生成時的受眾牴觸心理。
Ben Affleck 與 Casey Affleck 兄弟表示 AI 將降低電影製作門檻。Ben Affleck 認為 AI 缺乏品味、充其量是模仿現有作品的工匠,但能削減繁重且昂貴的流程,讓沒拿到好萊塢大預算的創作者拍出好作品。
奧斯卡影帝 Casey Affleck 談及試用 Meta 影片模型 Movie Gen 的體驗。他表示該工具能讓拿不到大廠預算的創作者構建天馬行空的電影世界。該工具支援 1080p 影片生成與編輯,預計明年上線,但他同時提醒影視行業需建立對應保障規則。
TikTok 宣佈在 AI 廣告生成工具 Symphony Creative Studio 中接入 Getty Images 正版素材,並面向所有廣告主開放。品牌只需輸入產品描述,就能結合商業授權相簿一鍵生成帶真人數字人講解、多語言配音的短影片廣告。
影片編輯平臺 InVideo 釋出 InVideo v3.0,支援用文本提示詞從頭生成真人、動畫等風格影片,並可通過提示詞區域性修改。該功能沒有免費版,付費訂閱每月 120 美元可生成 15 分鐘影片,額外每分鐘需 8 至 10 美元。
XRHealth 推出 AI 醫療 XR 平臺。臨床醫生可通過其 AI 空間生成定製的 360 度環境與動態虛擬人,系統還整合了療法搜尋、報告分析與個性化治療規劃。這套方案覆蓋物理康復與心理健康等領域,旨在用生成式體驗提升治療效果。
AI 初創公司 Odyssey 宣佈獲得 1800 萬美元 A 輪融資。團隊讓人揹著裝有 6 個攝像頭與雙雷射雷達的 25 磅裝置實地徒步,採集真實 3D 深度資料,用來訓練能精細控制光影與幾何的生成式「世界模型」,打造影視級虛擬場景。
CreatorKit 聯合 ElevenLabs 推出 Emotive AI Actors。通過聲音克隆技術,AI 演員能根據臺詞自動匹配興奮、好奇等不同情緒。CreatorKit 稱帶情緒的聲音讓影片廣告轉化率提升了 16%。
Apple 釋出 Final Cut Pro 11,引入 AI 驅動的 Magnetic Mask 摳像與自動語音轉字幕功能,無需綠幕即可精準分離背景。新版本還支援 Vision Pro 空間影片剪輯,老使用者可免費更新。
CNET 分析了 Adobe 面向專業創作者的 AI 策略。Adobe 避開一鍵生成,轉向用生成式編輯解決修圖痛點,例如用 AI 抹電線、補影片幀。目前 Photoshop 生成式填充日均使用達 2300 萬次,但畫師對飯碗和版權的擔憂仍在。
字節跳動推出 AI 系統 X-Portrait 2,僅憑單張照片就能重現經典電影裡的複雜表情。它放棄了傳統打點追蹤,直接學習整張臉的肌肉流動,連驚恐與狂喜都能逼真呈現。出於深度偽造與濫用擔憂,位元組目前未對外公開程式碼。