바이트댄스, 영상 생성과 편집 통합한 'Bernini' 오픈소스 공개

Bernini는 바이트댄스가 오픈소스로 공개한 비디오 생성 및 정밀 편집 프레임워크입니다. 멀티모달 대형언어모델(MLLM) 기반의 시맨틱 플래너와 DiT 렌더러를 하나로 결합해 텍스트, 이미지, 영상을 아우르는 생성과 편집 작업을 단일 구조로 처리합니다.

기존 비디오 생성 모델은 결과물을 부분 수정하기 어려워 매번 전체 영상을 다시 뽑아야 하는 한계가 있었습니다. Bernini는 먼저 언어모델이 영상 내 의미 변화를 기획하고 이를 렌더러가 화면으로 구현하는 방식을 택해, 무작위 생성에서 벗어나 감독이 연출하듯 비디오를 제어할 수 있도록 설계되었습니다.

무엇을 할 수 있나

Bernini는 텍스트 투 이미지, 이미지 투 이미지, 텍스트 투 비디오, 비디오 투 비디오뿐만 아니라 참조 미디어를 활용한 영상 생성 및 편집까지 총 6가지 핵심 작업을 지원합니다.

실제 활용 면에서는 자막이나 워터마크 제거, 영상 스타일 변환, 특정 영역 수정, 참조 이미지를 반영한 캐릭터 및 사물 삽입 등이 가능합니다. 제작진의 블라인드 평가 결과에 따르면 비디오 편집 정확도 면에서 상용 모델 상위권 수준에 도달했습니다. 다만 초기 사용자 평가에서는 지시어 수행 능력은 우수하지만 원본 영상 자체의 화질과 질감은 평이한 편이라는 반응도 나옵니다.

실행 환경과 사양

전체 추론 코드와 학습 코드, 모델 가중치는 깃허브와 허깅페이스에 모두 공개되었습니다. 전체 파이프라인인 Bernini와 렌더러 중심인 Bernini-R 두 가지 제품군으로 나뉩니다.

Bernini-R은 Wan2.1-1.3B를 기반으로 파인튜닝된 1.3B 소형 가중치를 제공합니다. 스타일 변환이나 워터마크 삭제 같은 가벼운 작업에서는 14B 모델에 근접한 성능을 보이지만, 복잡한 인물 묘사에서는 다소 차이가 납니다. 구동에는 파이썬 3.11과 CUDA 12.6, 파이토치 및 디퓨저스 환경이 필요하며, 아파치 2.0 라이선스 기반의 Open-VeOmni 패키지를 함께 설치해야 합니다.

하드웨어는 FlashAttention-3를 쓸 수 있는 H100 등 호퍼 아키텍처 GPU를 권장하며, A100이나 일반 CUDA GPU에서는 FlashAttention-2로 자동 전환되어 구동됩니다. 공식 저장소에 Gradio 기반 웹 데모 코드가 포함되어 있으며, OpenAI 호환 비전 모델 API를 연결하면 프롬프트 자동 강화 기능도 활용할 수 있습니다.

왜 중요한가

영상 편집 파이프라인을 구축하거나 특정 장면을 정밀하게 수정해야 하는 개발자에게 Bernini는 매우 유용한 오픈소스 도구입니다. 1.3B 크기의 렌더러를 로컬에 띄워 자막 삭제나 참조 기반 객체 삽입 등 실무형 편집 작업을 직접 제어해 볼 수 있습니다.

단순히 텍스트로 영상을 찍어내는 경쟁을 넘어, 의미 기획과 확산 렌더링을 분리해 수정 가능성을 극대화했다는 점에서 후속 오픈소스 영상 모델들의 구조 설계에 의미 있는 참고 사례가 될 것입니다.