캡컷, 챗GPT 플러그인 발표…말 한마디로 영상 초안 편집
바이트댄스의 영상 편집 앱 캡컷이 챗GPT용 플러그인을 발표했다. 사용자가 챗GPT에 영상 클립과 요구사항을 입력하면 초안 컷을 자동으로 생성하며, 대화로 컷 길이와 자막을 수정할 수 있다. 영상 편집 문턱을 크게 낮출 기능이나 현재는 미공개 상태로 향후 수개월 내 테스트 예정이다.
字节跳动
바이트댄스 'DMAD' 공개: 영상 생성 단계 4스텝으로 대폭 단축
바이트댄스가 빠른 시각 생성을 위한 적대적 증류 기법 'DMAD'를 발표했다. 분포 매칭 방식을 활용해 기존에 20~30스텝이 걸리던 MiniMax-H3 등의 영상 디퓨전 과정을 단 4스텝으로 줄여, 품질 저하 없이 생성 속도를 크게 끌어올렸다.
비디오 증류 기술 PDMD 오픈소스 공개: MiniMax-H3 4스텝 초고속 생성
연구진이 동영상 증류 프레임워크 PDMD와 LoRA 가중치를 오픈소스로 공개했습니다. MiniMax-H3의 생성 과정을 기존 20~30스텝에서 단 4스텝으로 줄였습니다. 평가기의 잘못된 피드백을 보정해 증류 과정에서 디테일이 뭉개지는 현상을 막고 자연스러운 움직임을 유지합니다.
바이트댄스 Lucida 공개: 실제 방을 편집 가능한 3D 씬으로 변환
바이트댄스 연구진이 3D 씬 모델링 시스템 'Lucida'를 발표했습니다. 실내 영상을 분석해 각 물체를 개별 3D 자산으로 생성한 뒤 VLM 에이전트로 제자리에 배치하는 방식입니다. 통짜 스캔과 달리 모든 물체를 개별적으로 이동 및 편집할 수 있어 로봇 시뮬레이션 환경 구축에 유용합니다.
바이트댄스, 180GB 규모의 올모달 영상 편집 모델 '베르니니 2' 오픈소스 공개
바이트댄스가 자연어로 기존 영상을 수정할 수 있는 오픈소스 영상 편집 모델 '베르니니 2'를 공개했다. 카메라 구도 변경, 배경 교체, 새로운 캐릭터나 물체 추가가 가능하다. 의미 계획 모듈과 디퓨전 렌더러를 결합했으나, 모델 크기만 180GB에 달해 로컬 실행 문턱은 상당히 높다.
바이트댄스, 30초 단일 생성 지원하는 영상 모델 'Seedance 2.5' 출시
바이트댄스가 차세대 비디오 모델 Seedance 2.5를 공개했다. 한 번에 최대 30초 길이의 음향 포함 비디오를 생성하며 다회 연장도 지원한다. 최대 30장의 이미지, 10개의 영상, 10개의 오디오를 동시에 참조할 수 있고 타임스탬프 편집도 지원하며, 지멍 AI와 더우바오 Pro에서 제공된다.
바이트댄스, '시드림 5.0 프로' 공개: 손글씨 표시로 정밀 수정·고밀도 인포그래픽 지원
바이트댄스가 차세대 이미지 모델 'Seedream 5.0 Pro'를 공개했다. 텍스트가 많은 전문 인포그래픽을 정교하게 구성하며, 이미지 위에 상자를 치거나 손글씨로 표시해 특정 영역만 정확히 수정하고 레이어를 분리할 수 있다. 단순 생성을 넘어 실제 디자인 워크플로를 겨냥했다.
바이트댄스, 실무 특화 Doubao Seed 2.1 공개: PPT 수정·웹 개발 에이전트 성능 강화
바이트댄스가 업무 생산성 에이전트 모델 'Doubao Seed 2.1' 제품군을 공개했다. Pro와 Turbo 버전으로 구성되었으며, 차트 분석, 정밀한 PPT 템플릿 수정, 스케치 기반 웹 개발 등 실제 업무 환경에서 강력한 멀티모달 역량을 발휘한다. 복잡한 워크플로 벤치마크에서 글로벌 최상위 모델과 대등한 수준을 기록했다.
바이트댄스, 대화·효과음·음악을 한 번에 생성하는 'Seed-Audio 1.0' 공개
볼케이노 엔진이 올인원 오디오 생성 모델 'Seed-Audio 1.0'을 공개했다. 한 번의 생성으로 다중 화자 대화, 감정 연기, 효과음 및 배경음악을 동시에 조율해 출력할 수 있다. 음성 참조 기능을 통해 일관된 음색을 유지하며, 현재 주로 API를 통해 제공된다.
바이트댄스, 영상 생성과 편집 통합한 'Bernini' 오픈소스 공개
바이트댄스가 영상 생성과 편집을 단일 구조로 처리하는 프레임워크 'Bernini'를 오픈소스로 공개했습니다. 멀티모달 시맨틱 플래너와 DiT 렌더러를 결합해 텍스트·이미지·영상 입력을 모두 지원하며, 사전에 의미를 계획해 정밀한 비디오 편집을 구현합니다. 추론 코드와 가중치는 깃허브와 허깅페이스에 공개되었습니다.
바이트댄스, 이미지·영상 통합 AI 모델 '랜스' 오픈소스 공개
바이트댄스가 이미지와 영상의 이해·생성·편집을 모두 아우르는 통합 멀티모달 모델 '랜스(Lance)'를 오픈소스로 공개했다. 활성 파라미터 30억 개로 멀티턴 대화를 통한 영상 편집이 가능하지만, 로컬 구동에는 최소 40GB VRAM이 필요하다.
바이트댄스, '시드 2.0' 에이전트 모델 공개…프로·라이트·미니 3종 구성
바이트댄스가 실무 배포에 최적화된 차세대 범용 에이전트 모델 '시드 2.0' 시리즈를 공개했다. 복합 추론 전용 Pro, 동시 처리용 Mini, 음성과 영상을 통합 이해하는 옴니모달 Lite 등 3종으로 나뉜다. 복잡한 다단계 실무 워크플로를 안정적으로 수행하도록 설계된 점이 특징이다.
바이트댄스, 커머스 영상 특화 생성 AI '옴니쇼' 공개…이미지·음성·포즈 동시 제어
바이트댄스와 홍콩중문대 연구진은 인물-사물 상호작용에 특화된 동영상 생성 모델 '옴니쇼(OmniShow)'를 발표했다. 인물과 상품 이미지, 음성, 포즈 스켈레톤을 동시에 입력받아 립싱크와 손동작이 일치하는 최장 10초 길이의 커머스 영상을 생성한다. 현재 깃허브에서 코드 내부 검토 중이며 향후 오픈소스로 공개될 예정이다.
바이트댄스, 스마트폰서 오프라인 작동하는 이미지 생성 모델 '드림라이트' 공개
바이트댄스가 3억 9천만 파라미터 규모의 온디바이스 이미지 모델 'DreamLite'를 발표했습니다. 스마트폰에서 완전 오프라인으로 1024×1024 이미지를 약 3초 만에 생성하며, 화풍 변경과 개체 제거 등 이미지 편집도 지원합니다. 대형 클라우드 모델 대비 디테일 한계는 있지만 모바일 기기에서의 로컬 AI 편집 가능성을 크게 넓혔습니다.
바이트댄스, 'Lark CLI' 오픈소스 공개: AI 에이전트로 라크 업무 자동화
바이트댄스가 인간과 AI 에이전트를 위한 공식 CLI 도구인 Lark CLI를 오픈소스로 공개했습니다. 캘린더, 문서, 다차원 테이블 등 18개 업무 영역과 200개 이상의 명령어를 지원합니다. Claude Code 등 외부 에이전트가 별도 설정 없이 바로 라크 워크스페이스를 제어할 수 있는 점이 핵심입니다.
바이트댄스, 멀티 에이전트 프레임워크 'DeerFlow 2.0' 오픈소스 공개
바이트댄스가 다중 AI 에이전트 조율 프레임워크 'DeerFlow 2.0'을 MIT 라이선스로 오픈소스 공개했다. 복잡한 작업을 하위 에이전트에 분할 할당해 보고서 작성이나 코딩을 자율 수행하며, 모든 작업은 격리된 Docker 샌드박스에서 실행된다. DeepSeek나 GPT-4 등 원하는 모델을 자유롭게 연동할 수 있다.
바이트댄스, 단일 H100서 실시간 긴 영상 만드는 '헬리오스' 오픈소스 공개
바이트댄스가 14B 규모의 실시간 영상 생성 모델 '헬리오스'를 오픈소스로 공개했다. 단일 엔비디아 H100 GPU에서 초당 19.5프레임 속도로 최대 1분 길이 영상을 화풍 붕괴 없이 생성한다. 코드와 실행 파이프라인이 깃허브에 공개됐다.
바이트댄스·스탠퍼드, 이미지·영상 확산 모델 4배 가속 'Spectrum' 공개
바이트댄스와 스탠퍼드대 연구진이 확산 모델 추론을 최대 4.7배 가속하는 오픈소스 프레임워크 Spectrum을 공개했다. 체비쇼프 다항식으로 미래 확산 궤적을 예측해 추가 학습 없이 기존 파이프라인에 적용할 수 있으며, FLUX.1과 훈위안 비디오 등에서 화질 손하 거의 없이 생성 속도를 크게 줄여준다.
바이트댄스·칭화대 DreamID-Omni 공개: 사진과 음성으로 다자간 대화 영상 생성
바이트댄스와 칭화대 연구팀이 DreamID-Omni를 발표했다. 인물 사진, 텍스트, 음성 샘플을 결합해 자연스러운 발화 영상을 제작하며, 다자간 동시 대화의 립싱크 꼬임 문제를 해결하고 영상 편집도 지원한다. 3월 중 v1 오픈소스 버전이 공개될 예정이다.
바이트댄스, 이미지 생성서 '앞뒤·좌우' 정확히 배치하는 공간 보상 모델 공개
바이트댄스 연구진은 이미지 생성 모델의 공간 이해도를 높이는 보상 모델링 프레임워크를 발표했다. 8만 개 이상의 선호도 쌍 데이터로 학습한 'SpatialScore'를 통해 Flux 등의 복잡한 위치 오류를 줄였으며, 데이터셋과 가중치도 공개할 예정이다.