CapCut、ChatGPTプラグインを発表 チャットで指示して動画を自動編集
ByteDance傘下の動画編集ツール「CapCut」はChatGPTプラグインを発表した。素材と要望をチャットに入力するだけで自動で初稿カットを生成し、会話で尺や字幕を微調整できる。動画編集の手間を減らす機能だが、現在は未提供で今後数カ月以内にテスト予定だ。
字节跳动
ByteDanceが「DMAD」公開：動画生成をわずか4ステップに短縮
ByteDanceが高速画像・動画生成手法「DMAD」を発表した。対抗蒸留と分布マッチングを用い、通常20〜30ステップを要するMiniMax-H3などの拡散モデルをわずか4ステップに圧縮。高品質な映像を極めて短時間で生成可能にする。
動画蒸留手法「PDMD」が公開：MiniMax-H3をわずか4ステップで高速生成
研究チームが動画蒸留手法「PDMD」のLoRAモデルを公開しました。MiniMax-H3の生成ステップ数を従来の20〜30ステップから4ステップに短縮します。評価器の誤指導を抑えることで、従来の蒸留で見られたディテールの崩れを防ぎ、滑らかな動きと高画質を両立しています。
ByteDanceがLucidaを発表：実世界の部屋を編集可能な3D空間に変換
ByteDanceの研究チームが3Dシーンモデリング手法「Lucida」を発表しました。部屋全体の動画から個別の物体を認識して独立した3Dアセットを生成し、VLMを使って正確に配置します。物体ごとに移動や編集ができるため、ロボットや身体性AIのシミュレーション環境構築が大幅に容易になります。
ByteDanceが全モーダル動画編集「Bernini 2」をOSS公開、モデル単体で180GB
ByteDanceは自然言語で既存動画を編集できるオープンソースモデル「Bernini 2」を公開した。カメラアングルの変更や背景の差し替え、新規オブジェクトの挿入に対応する。意味プランナーと拡散レンダラーを組み合わせた構成だが、モデル単体で180GBあり、ローカル環境での実行ハードルは極めて高い。
ByteDanceがSeedance 2.5公開、30秒の一発動画生成とマルチモーダル参照に対応
ByteDanceは動画生成モデル「Seedance 2.5」を発表した。1回で最大30秒の音声付き動画を生成でき、複数回の延長にも対応する。最大30枚の画像、10本の動画、10本の音声を同時に入力できる参照機能やタイムスタンプ単位の編集も備え、即夢AIやDoubao Proで利用できる。
バイトダンスが「Seedream 5.0 Pro」公開：手描き注記で部分編集、高密度図版に対応
ByteDanceは画像モデル「Seedream 5.0 Pro」を発表した。テキスト密度の高いインフォグラフィックやUIの生成に加え、画像上に枠や手描き注記を入れて狙い通りに直す対話型編集やレイヤー分離に対応する。画像AIを「ガチャ」から実用的なデザイン共同作業へ引き上げる試みだ。
ByteDanceがDoubao Seed 2.1を発表：実務特化のエージェントでPPT修正やWeb制作に対応
ByteDance は生産性エージェント向けモデル「Doubao Seed 2.1」を発表した。Pro と Turbo の 2 バージョン展開で、科学チャート分析、PPT テンプレートの精密編集、手書きラフからの Web サイト作成など強力なマルチモーダル処理に対応。実務タスク指標でトップモデルに迫る性能を発揮する。
ByteDanceが「Seed-Audio 1.0」発表、対話・効果音・BGMを一度に生成
Volcano Engine は音声生成モデル「Seed-Audio 1.0」を発表した。1 回の生成で複数キャラクターの対話や感情表現、効果音、BGM を同時に出力できる。参照音声によって話者の一貫性を保つことができ、現在は主に API 経由で提供されている。
ByteDanceが動画生成・編集モデル「Bernini」をオープンソース公開
ByteDanceが動画生成と編集を統合した新フレームワーク「Bernini」を公開しました。MLLMによる意味計画とDiTレンダラーを組み合わせ、テキスト・画像・動画の入力を1つのモデルで処理できます。事前の意味計画によって高精度な動画編集が可能になり、GitHubとHugging Faceでコードと重みが提供されています。
ByteDance、画像と動画の理解・生成・編集をこなす統合モデル「Lance」をオープンソース公開
ByteDanceは画像と動画の理解・生成・編集を兼ね備えたネイティブ統合モデル「Lance」を公開した。アクティブパラメータ30億で対話形式の動画連続編集にも対応するが、ローカル環境での動作には40GB以上のGPUメモリが求められる。
ByteDance、AIエージェントモデル「Seed 2.0」発表 Pro・Lite・Miniの3展開
ByteDanceは汎用エージェントモデル「Seed 2.0」シリーズを発表した。複雑な長鎖推論に特化したPro、高スループット向けのMini、画像・音声・動画・テキストをネイティブ処理するオムニモーダルのLiteの3種を用意。実務環境での長期タスク実行の安定性を大幅に高めた。
ByteDanceら、EC特化の動画生成AI「OmniShow」発表 画像・音声・骨格から10秒の販促動画を生成
ByteDanceや香港中文大学などの研究チームは人と物のインタラクションに特化した動画生成モデル「OmniShow」を発表した。人物や商品の画像、音声、骨格データを同時に取り込み、リップシンクや手元の動きを同期させた最长10秒の販促動画を生成できる。GitHubにてコードの内部審査が進められており、近くオープンソース化される見込みだ。
ByteDance、スマホで完全オフライン動作する画像生成・編集モデル「DreamLite」発表
ByteDanceは端末内でオフライン動作する画像拡散モデル「DreamLite」を発表しました。パラメータ数はわずか3.9億で、iPhone上で1024×1024の画像生成が約3秒で完了するほか、背景差し替えや画風変更などの編集にも対応します。クラウドの最上位モデルには質感で及ばないものの、スマホ単体での実用的な画像生成を実現しています。
ByteDanceがLark CLIをOSS公開、AIエージェントからノーコード連携可能に
ByteDance は人間と AI エージェントの双方に向けて設計された公式ツール「Lark CLI」を MIT ライセンスでオープンソース公開しました。カレンダーやドキュメントなど 18 の業務領域をカバーし、200 以上のコマンドを収録。Claude Code などの外部エージェントから追加設定なしで Lark を直接操作できます。
ByteDance、マルチエージェント基盤「DeerFlow 2.0」をオープンソース公開
ByteDanceは、複数AIエージェントの協調動作基盤「DeerFlow 2.0」をMITライセンスでオープンソース公開した。複雑な長時間タスクを分解し、子エージェントに並列処理させる。各タスクは独立したDockerサンドボックス内で実行され、GPT-4やDeepSeekなど任意のモデルと連携可能だ。
ByteDance、長尺動画のリアルタイム生成モデル「Helios」をオープンソース公開
ByteDance は長尺動画をリアルタイム生成できる 14B モデル「Helios」をオープンソース公開した。単一の NVIDIA H100 上で 19.5 FPS を記録し、最大 1 分間の生成でも画風が崩れない。コードや実行パイプラインが GitHub で提供されている。
ByteDanceとスタンフォード、画像・動画拡散モデルを4倍超高速化する「Spectrum」公開
ByteDanceとスタンフォード大学の研究チームが、画像や動画の拡散モデルを最大4.7倍高速化するフレームワーク「Spectrum」をオープンソース公開した。チェビシェフ多項式で未来のステップを予測する仕組みで、追加学習なしにFLUX.1やHunyuan Videoの画質を保ったまま生成を大幅に速くできる。
ByteDanceと清華大がDreamID-Omni発表：画像と音声から複数人の対話動画を生成
ByteDanceと清華大学の研究チームがDreamID-Omniを発表した。画像、プロンプト、参照音声を組み合わせることで、本人の声で話す動画を生成可能。複数人の同画面会話や動画の顔・音声差し替えに対応し、3月にオープンソース公開が予定されている。
ByteDance、画像生成の「左右・前後」を正しく配置する空間報酬モデルを発表
ByteDance の研究チームは画像生成の空間理解を高めるフレームワークを発表した。8 万件超の正誤ペアデータで報酬モデル「SpatialScore」を学習させ、Flux などの配置ミスを大幅に改善する。データセットと重みは公開予定。