Synthesia 推出 Expressive Avatars:讓 AI 數字人帶上喜怒哀樂
AI 影片初創公司 Synthesia 推出新一代數字人化身「Expressive Avatars」。新版本不再採用傳統拼貼影片片段的做法,而是通過大模型端到端即時生成,強化了唇形同步和微表情變化。雖然告別了僵硬的面癱臉,但官方承認手部動作仍是下一步要啃的硬骨頭。
Midjourney、Sora、Veo、Suno 等 AI 繪畫、影片、配音和音樂生成工具的新模型、新功能和新玩法。
AI 影片初創公司 Synthesia 推出新一代數字人化身「Expressive Avatars」。新版本不再採用傳統拼貼影片片段的做法,而是通過大模型端到端即時生成,強化了唇形同步和微表情變化。雖然告別了僵硬的面癱臉,但官方承認手部動作仍是下一步要啃的硬骨頭。
Drake 在社交平臺釋出新歌《Taylor Made Freestyle》,用 AI 合成的 Tupac 和 Snoop Dogg 聲音向 Kendrick Lamar 喊話施壓。外界推測是他自己錄完再通過 AI 轉換音色。最值得關注的是,AI 克隆人聲已成為頂級說唱歌手公開交鋒的實戰武器。
TED 宣佈與藝術家 Paul Trillo 及 OpenAI 合作,使用尚未正式釋出的文生影片模型 Sora 製作了一支概念短片。短片暢想了 40 年後 TED 大會的模樣,也是創作者提前探索 Sora 視覺表達潛力的最新案例展示。
Blockade Labs 釋出 Skybox AI 的 Model 3 更新,支援生成並下載 8K 解析度的 360 度全景環境,畫素較上一代提升 77%,可直接適配 Apple Vision Pro。此外還上線了 Remix Your 360 功能,允許上傳任意全景圖進行二次重繪。
Stability AI 宣佈在開發者平臺上線 Stable Diffusion 3 和 Stable Diffusion 3 Turbo 的 API,並聯合 Fireworks AI 提供服務。該模型採用 MMDiT 架構,官方稱在排版拼寫與提示詞遵循上不輸 DALL-E 3。後續還將向會員開放權重自託管下載。
Adobe 預告了 Premiere Pro 年內將推出的生成式 AI 功能,支援在畫面中直接圈選增刪物體、自動補幀延長過短的影片片段。最值得關注的是,Adobe 還演示了引入 OpenAI 的 Sora 和 Pika 等第三方模型生成畫面的能力。不過這些 AI 工具預計今年晚些時候才會上線。
Freepik 上線最新版 AI 影像生成器,支援即時渲染與無限滾動。工具主打快速輸出寫實級畫質,支援一鍵生成多變體。免費使用者每天可生成 20 張,付費訂閱者可享受無限制生成與完整風格庫。
據報道 Adobe 開始向創作者按每分鐘約 3 美元收購日常動作與情緒等短影片素材,最高可達 7.25 美元。此舉旨在為自研文生影片工具儲備訓練資料,應對 OpenAI Sora 帶來的競爭壓力,同時繼續走合規採購路線。
由前 Google DeepMind 研究人員創立的 Udio 正式公開發布。使用者只需輸入風格描述或歌詞,40 秒內就能生成包含人聲與母帶效果的音軌,還支援二次混音與片段延長。該專案獲 a16z 領投,will.i.am 和 Instagram 聯創等參投。
OpenAI 上線 ChatGPT 影像生成與編輯功能,面向所有使用者開放。你不僅能用畫筆圈出局部做定向微調,還能在手機端畫草圖轉成精細畫作。最值得關注的是改圖不再需要重抽整張圖,不過官方提示區域性編輯可能偶爾超出選區範圍。
Stable Audio 2.0 正式上線,支援通過文本提示詞直接生成最長 3 分鐘、44.1kHz 雙聲道的完整曲目。新模型改用擴散 Transformer 架構,不僅能生成帶前奏和尾奏的完整結構,還支援上傳音訊並進行風格轉換。目前可在官網免費體驗。
OpenAI 公佈了一批由視覺藝術家、導演等創作的 Sora 早期作品與反饋。團隊表示,Sora 最強大的地方不在於復現真實,而在於快速具象化那些超現實與荒誕的想法。不過作品均經過創作者後期剪輯,模型目前仍在小範圍測試中。
Semafor 測試發現,Adobe 的影像生成工具 Firefly 同樣出現了生成黑人納粹士兵等失真畫面的問題。最值得關注的是,即便只使用合規商業相簿訓練,防偏見的安全指令依然在歷史語境下過猶不及。Adobe 回應稱 Firefly 並非用於紀實,將持續微調修復。
OpenAI 技術長 Mira Murati 透露,文生影片模型 Sora 將於今年晚些時候向公眾開放,可能就在幾個月後。此外,OpenAI 計劃未來為 Sora 引入音訊生成和影片編輯功能,並努力將其使用成本降至接近 DALL-E 的水平。
由 DeepMind 前員工創立的初創公司 Haiper 公開發布自研影片生成工具,並宣佈完成 1380 萬美元種子輪融資。使用者目前可免費生成 2 至 4 秒短影片或讓靜態圖動起來。團隊計劃未來開放核心模型 API 並考慮開源,直面 Sora 的競爭。
Lightricks 推出 AI 影片生成平臺 LTX Studio。它能直接將創意轉化為包含多鏡頭的完整長影片,並重點解決了多場景間角色外觀與光影一致性的痛點,試圖讓創作者用 AI 獨立搞定影視級成片。
Morph Studio 宣佈與 Stability AI 達成合作,推出一體化 AI 影片生成平臺。該方案支援將文本、影像或已有影片轉化為連續鏡頭,並採用多分支並行工作流提升創作效率。目前官網已開放候補名單申請。
Adobe 公佈生成式音訊研究專案 Project Music GenAI Control。使用者輸入文字或參考旋律即可生成音樂,還能調整節奏、結構或延長做無限迴圈。最值得關注的是它支援深度精修,不過目前仍處研究階段,連 UI 都還沒做。
Ideogram 正式上線文生圖模型 Ideogram 1.0。新版本提升了真實感與提示詞遵循度,主打更精準的圖片內文字渲染,並加入輔助撰寫提示詞的「Magic Prompt」功能。目前已在官網開放使用。
Pika 推出 Lip Sync 功能,接入 ElevenLabs 提供配音,讓影片角色的嘴型能與臺詞同步。它支援文本轉語音或上傳音訊,省去了繁瑣的後期外掛工具。不過該功能目前僅限 Pika Pro 付費使用者和受邀測試者使用。