CapCut 将接入 ChatGPT:一句话生成视频初剪,打字就能调镜头
字节跳动旗下剪辑工具 CapCut 宣布将推出 ChatGPT 插件。用户在对话中输入素材和要求,即可直接生成视频初剪,并能继续打字微调镜头时长与字幕。这意味着粗剪门槛大幅降低,不过插件目前尚未上线,预计未来数月内开放测试。
字节跳动旗下剪辑工具 CapCut 宣布将推出 ChatGPT 插件。用户在对话中输入素材和要求,即可直接生成视频初剪,并能继续打字微调镜头时长与字幕。这意味着粗剪门槛大幅降低,不过插件目前尚未上线,预计未来数月内开放测试。
字节跳动发布视觉生成对抗蒸馏方法 DMAD。它把原模型当作教师,通过分布匹配训练仅需 4 步去噪的学生模型。该方法适配 MiniMax-H3、Wan2.1 等架构,将原本 20 至 30 步的视频生成流程大幅压缩,画质不减。
研究团队开源视频蒸馏方法 PDMD。它将 MiniMax-H3 原本需要 20 到 30 步的视频生成流程直接压缩至 4 步。最值得关注的是,它修正了评估器的错误指导,避免传统蒸馏中画面越练越糊的问题,运动表现和细节明显更优。
字节跳动研究团队提出可组合 3D 场景建模系统 Lucida。它先识别视频中的每个独立物体并分别构建 3D 资产,再由 VLM 闭环摆回原位,解决了传统 3D 扫描模型融成一体无法单独编辑的难题,为具身智能提供了现成的交互仿真环境。
字节跳动开源全模态视频编辑模型 Bernini 2,支持用自然语言直接修改已有视频的视角、背景,或在画面中增删角色与物体。它结合语义规划与扩散渲染提升编辑精度,不过仅模型文件就达 180GB,普通设备本地运行门槛极高。
字节跳动发布视频生成模型 Seedance 2.5。模型单次生成时长增至 30 秒并支持多轮延展,能同时接收最多 30 张图片、10 段视频及 10 段音频作为参考,还加入了时间戳级编辑与白模参考能力,目前已在即梦和豆包 Pro 上线。
字节跳动发布多模态图像模型 Seedream 5.0 Pro。新模型主打高信息密度图表与交互式编辑,不仅能排版复杂文本,还支持直接在图上画框和手写标注来指导局部修改,并支持图层分离。最值得关注的是,它开始真正把图像生成接入实用设计工作流。
字节跳动发布 Doubao Seed 2.1 系列模型,包含 Pro 与 Turbo 版本。模型主打生产力智能体与多模态能力,在科学图表解析、PPT 模板精确修改及前端开发上表现抢眼,真实工作基准逼近 GPT 5.5。目前可通过豆包桌面版或在线 Studio 体验。
火山引擎发布豆包音频生成模型 1.0(Seed-Audio 1.0),能在单次生成中同步编排多角色对白、情绪语气、拟音特效与背景音乐。模型支持参考音频与零样本描述,可在长剧中保持音色高度统一。目前主要以 API 形式提供服务。
字节跳动开源统一视频框架 Bernini,将多模态语义规划器与 DiT 渲染器结合。它支持文本、图像和视频混合输入,单模型覆盖文生视频与视频编辑等多项任务。最值得关注的是,它先规划语义再生成画面,让 AI 视频编辑更精准可控;完整推理代码与模型权重均已放出。
字节跳动开源统一多模态模型 Lance,激活参数 30 亿,同时支持图像与视频的理解、生成及编辑。最关键的是,它不仅能看懂画面,还能通过多轮对话连续修改视频。不过本地运行门槛较高,至少需要一块 40GB 显存的 GPU。
字节跳动正式推出 Seed 2.0 系列通用智能体模型,提供 Pro、Lite 和 Mini 三种规格。Pro 主攻复杂长链推理,Mini 面向高并发部署,Lite 则原生打通图文音视频全模态理解。这一代重点强化了真实业务中的长流程任务执行稳定性。
字节跳动与港中文等推出人-物交互视频生成模型 OmniShow。它支持同时输入人物与商品图、音频及动作骨架,最长原生生成 10 秒带货长镜头,解决商品变形与口型脱节难题。目前代码正在内部审核,尚未正式开源。
字节跳动公布轻量图像模型 DreamLite,仅 3.9 亿参数即可在手机端完全离线运行。它兼顾文本生图与图像编辑,在 iPhone 上生成一张 1024×1024 肖像图约需 3 秒,还能直接换背景或改画风。虽然写实细节不及云端大模型,但大幅压低了手机端修图的延迟与算力门槛。
字节跳动开源飞书官方命令行工具 Lark CLI。它覆盖日历、文档、表格、会议等 18 个核心业务,提供 200 多个命令与专用的 Agent 技能。最值得关注的是其 Agent 原生设计,让 Claude Code 等外部智能体无需繁琐适配,即可直接读写并操作飞书工作流。
字节跳动开源 AI 代理调度中枢 DeerFlow 2.0。它能拆解复杂长程任务,自动派出子智能体分头执行研报、建站或视频生成。每个任务都跑在独立的 Docker 沙箱中安全执行,支持跨会话记忆,并可接入 DeepSeek、GPT-4 等任意模型,采用 MIT 协议开源。
字节开源 14B 实时视频生成模型 Helios,在单张 H100 上生成速度达 19.5 帧/秒,最长可生成 1 分钟长视频且画风不崩。最值得关注的是,它无需繁复外挂手段就解决了长视频画质漂移难题。相关运行管线与代码已开源至 GitHub。
字节跳动与斯坦福大学研究团队开源扩散加速框架 Spectrum。它通过切比雪夫多项式预判未来的特征轨迹,无须重新训练即可叠加到现有流程中,让 FLUX.1 和 Hunyuan Video 等模型提速 3.5 到 4.7 倍,且生成质量几乎不受影响。
字节跳动与清华大学团队发布 DreamID-Omni。它能接收图像、文本与参考音频,让虚拟角色用对应原声说话,并解决了多人同屏对嘴混乱的问题,还支持现有视频的换脸换声。团队预计 3 月正式开源。
字节团队提出空间奖励建模框架,专门解决图像模型搞不清前后左右的问题。团队构建了包含 8 万多组正误对比的数据集训练奖励模型,能有效指导 Flux 等模型摆对复杂物体的空间布局。相关数据集与模型权重计划公开。