바이트댄스, 180GB 규모의 올모달 영상 편집 모델 '베르니니 2' 오픈소스 공개

베르니니 2(Bernini 2)는 바이트댄스가 오픈소스로 공개한 올모달 영상 편집 및 생성 프레임워크다. 자연어 프롬프트를 통해 기존 영상에 등장인물을 새로 추가하거나 색감을 바꾸고, 특정 대상을 지우거나 카메라 앵글과 배경을 교체하는 등 정교한 비디오 편집을 수행한다.

참조 이미지를 입력해 사진 속 특정 물체, 예를 들어 헬리콥터를 기존 동영상 장면에 자연스럽게 삽입하는 기능도 지원한다.

무엇을 할 수 있나, 어떻게 만들었나

일반적인 디퓨전 모델이 프레임을 한 번에 생성하는 것과 달리, 베르니니 2는 계획과 렌더링을 분리했다. Qwen2.5-VL 기반의 멀티모달 LLM이 사용자의 복잡한 편집 지시를 의미 단위 계획으로 쪼개면, Wan2.2 기반의 DiT 렌더러가 이를 고화질 영상으로 그려낸다.

2026년 6월 공개된 1세대 버전에 비해, 이번 v2는 본격적인 공동 학습 전 커넥터 모듈을 수천 스텝 동안 사전 웜업하는 방식을 도입했다. 이를 통해 참조 이미지 기반 영상 편집 및 동작 전이(OpenS2V) 성능을 크게 끌어올렸다.

바이트댄스 내부 블라인드 테스트 평가에 따르면, 비디오 편집 작업에서 기존 주요 상용 폐쇄형 모델들과 대등한 최상위권 성능을 기록했다.

구동 환경과 제약 사항

가장 큰 걸림돌은 압도적인 크기다. 모델 단일 크기만 180GB에 달하며, 여기에 VAE, T5 텍스트 인코더, 토크나이저 등 부가 요소를 더하면 일반 개인용 PC나 싱글 GPU 환경에서는 로컬 실행이 사실상 불가능하다.

도구 지원 측면에서도 아직 제약이 있다. 널리 쓰이는 ComfyUI는 현재 BerniniModel의 다단계 계획 구조를 로드하지 못해 v2 풀 파이프라인을 지원하지 않는다. ComfyUI에서 테스트하려면 다단계 계획 기능이 빠진 렌더러 전용 버전 Bernini-R을 사용해야 한다.

충분한 GPU 인프라를 갖췄다면 허깅페이스 ByteDance/Bernini-Diffusers-v2에서 가중치를 내려받은 뒤, 공식 깃허브 저장소의 싱글 또는 멀티 GPU 스크립트로 구동할 수 있다. 관련 논문은 arXiv:2605.22344에 등록되어 있다.

왜 중요한가

LLM으로 프롬프트를 먼저 해석해 구체적인 계획을 세우고, 디퓨전 모델로 렌더링을 맡기는 베르니니 2의 설계는 복잡한 영상 편집 지시를 정확히 따르게 만드는 영리한 접근법이다.

하지만 일반 크리에이터나 독립 개발자에게 당장 실용적인 도구는 아니다. 180GB라는 용량은 로컬 진입 장벽이 너무 높고, MiniMax H3처럼 참조 기반 영상 생성을 손쉽게 지원하는 대안이 이미 나와 있기 때문이다. 오픈소스 커뮤니티에서 대대적인 경량화나 양자화 모델을 내놓지 않는 이상, 대규모 인프라를 갖춘 연구 조직 위주의 참고 자료로 남을 가능성이 높다.