CapCut 將接入 ChatGPT:一句話生成影片初剪,打字就能調鏡頭
字節跳動旗下剪輯工具 CapCut 宣佈將推出 ChatGPT 外掛。使用者在對話中輸入素材和要求,即可直接生成影片初剪,並能繼續打字微調鏡頭時長與字幕。這意味著粗剪門檻大幅降低,不過外掛目前尚未上線,預計未來數月內開放測試。
字節跳動旗下剪輯工具 CapCut 宣佈將推出 ChatGPT 外掛。使用者在對話中輸入素材和要求,即可直接生成影片初剪,並能繼續打字微調鏡頭時長與字幕。這意味著粗剪門檻大幅降低,不過外掛目前尚未上線,預計未來數月內開放測試。
字節跳動釋出視覺生成對抗蒸餾方法 DMAD。它把原模型當作教師,通過分佈匹配訓練僅需 4 步去噪的學生模型。該方法適配 MiniMax-H3、Wan2.1 等架構,將原本 20 至 30 步的影片生成流程大幅壓縮,畫質不減。
研究團隊開源影片蒸餾方法 PDMD。它將 MiniMax-H3 原本需要 20 到 30 步的影片生成流程直接壓縮至 4 步。最值得關注的是,它修正了評估器的錯誤指導,避免傳統蒸餾中畫面越練越糊的問題,運動表現和細節明顯更優。
字節跳動研究團隊提出可組合 3D 場景建模系統 Lucida。它先識別影片中的每個獨立物體並分別構建 3D 資產,再由 VLM 閉環擺回原位,解決了傳統 3D 掃描模型融成一體無法單獨編輯的難題,為具身智慧提供了現成的互動模擬環境。
字節跳動開源全模態影片編輯模型 Bernini 2,支援用自然語言直接修改已有影片的視角、背景,或在畫面中增刪角色與物體。它結合語義規劃與擴散渲染提升編輯精度,不過僅模型檔案就達 180GB,普通裝置本地執行門檻極高。
字節跳動釋出影片生成模型 Seedance 2.5。模型單次生成時長增至 30 秒並支援多輪延展,能同時接收最多 30 張圖片、10 段影片及 10 段音訊作為參考,還加入了時間戳級編輯與白模參考能力,目前已在即夢和豆包 Pro 上線。
字節跳動釋出多模態影像模型 Seedream 5.0 Pro。新模型主打高資訊密度圖表與互動式編輯,不僅能排版複雜文本,還支援直接在圖上畫框和手寫標註來指導區域性修改,並支援圖層分離。最值得關注的是,它開始真正把影像生成接入實用設計工作流。
字節跳動釋出 Doubao Seed 2.1 系列模型,包含 Pro 與 Turbo 版本。模型主打生產力智慧體與多模態能力,在科學圖表解析、PPT 模板精確修改及前端開發上表現搶眼,真實工作基準逼近 GPT 5.5。目前可通過豆包桌面版或線上 Studio 體驗。
火山引擎釋出豆包音訊生成模型 1.0(Seed-Audio 1.0),能在單次生成中同步編排多角色對白、情緒語氣、擬音特效與背景音樂。模型支援參考音訊與零樣本描述,可在長劇中保持音色高度統一。目前主要以 API 形式提供服務。
字節跳動開源統一影片框架 Bernini,將多模態語義規劃器與 DiT 渲染器結合。它支援文本、影像和影片混合輸入,單模型覆蓋文生影片與影片編輯等多項任務。最值得關注的是,它先規劃語義再生成畫面,讓 AI 影片編輯更精準可控;完整推理程式碼與模型權重均已放出。
字節跳動開源統一多模態模型 Lance,啟用引數 30 億,同時支援影像與影片的理解、生成及編輯。最關鍵的是,它不僅能看懂畫面,還能通過多輪對話連續修改影片。不過本地執行門檻較高,至少需要一塊 40GB 視訊記憶體的 GPU。
字節跳動正式推出 Seed 2.0 系列通用智慧體模型,提供 Pro、Lite 和 Mini 三種規格。Pro 主攻複雜長鏈推理,Mini 面向高併發部署,Lite 則原生打通圖文音影片全模態理解。這一代重點強化了真實業務中的長流程任務執行穩定性。
字節跳動與港中文等推出人-物互動影片生成模型 OmniShow。它支援同時輸入人物與商品圖、音訊及動作骨架,最長原生生成 10 秒帶貨長鏡頭,解決商品變形與口型脫節難題。目前程式碼正在內部稽核,尚未正式開源。
字節跳動公佈輕量影像模型 DreamLite,僅 3.9 億引數即可在手機端完全離線執行。它兼顧文本生圖與影像編輯,在 iPhone 上生成一張 1024×1024 肖像圖約需 3 秒,還能直接換背景或改畫風。雖然寫實細節不及雲端大模型,但大幅壓低了手機端修圖的延遲與算力門檻。
字節跳動開源飛書官方命令列工具 Lark CLI。它覆蓋日曆、文件、表格、會議等 18 個核心業務,提供 200 多個命令與專用的 Agent 技能。最值得關注的是其 Agent 原生設計,讓 Claude Code 等外部智慧體無需繁瑣適配,即可直接讀寫並操作飛書工作流。
字節跳動開源 AI 代理排程中樞 DeerFlow 2.0。它能拆解複雜長程任務,自動派出子智慧體分頭執行研報、建站或影片生成。每個任務都跑在獨立的 Docker 沙箱中安全執行,支援跨會話記憶,並可接入 DeepSeek、GPT-4 等任意模型,採用 MIT 協議開源。
位元組開源 14B 即時影片生成模型 Helios,在單張 H100 上生成速度達 19.5 幀/秒,最長可生成 1 分鐘長影片且畫風不崩。最值得關注的是,它無需繁複外掛手段就解決了長影片畫質漂移難題。相關執行管線與程式碼已開源至 GitHub。
字節跳動與斯坦福大學研究團隊開源擴散加速框架 Spectrum。它通過切比雪夫多項式預判未來的特徵軌跡,無須重新訓練即可疊加到現有流程中,讓 FLUX.1 和 Hunyuan Video 等模型提速 3.5 到 4.7 倍,且生成質量幾乎不受影響。
字節跳動與清華大學團隊釋出 DreamID-Omni。它能接收影像、文本與參考音訊,讓虛擬角色用對應原聲說話,並解決了多人同屏對嘴混亂的問題,還支援現有影片的換臉換聲。團隊預計 3 月正式開源。
位元組團隊提出空間獎勵建模框架,專門解決影像模型搞不清前後左右的問題。團隊構建了包含 8 萬多組正誤對比的資料集訓練獎勵模型,能有效指導 Flux 等模型擺對複雜物體的空間佈局。相關資料集與模型權重計劃公開。