바이트댄스, 이미지·영상 통합 AI 모델 '랜스' 오픈소스 공개

랜스(Lance)는 이미지와 영상의 이해, 생성, 편집을 하나의 모델로 처리하는 바이트댄스의 오픈소스 네이티브 통합 멀티모달 모델입니다。

어떤 작업이 가능한가

가장 큰 특징은 분리되어 있던 시각 작업들을 하나로 묶었다는 점입니다. 텍스트로 이미지나 영상을 새로 만드는 것은 물론, 기존 결과물을 프롬프트로 세밀하게 수정할 수 있습니다。

특히 영상 편집 기능이 돋보입니다. 배경을 불길로 바꾸거나 차량 색상을 변경하는 수준을 넘어, 멀티턴 대화를 통해 연속적으로 영상을 수정할 수 있습니다. 인물의 머리를 길고 곱슬거리게 바꾼 뒤 화관을 씌우고 동작을 변경하는 식의 단계별 작업이 가능합니다。

이미지 영역에서도 애니메이션, 수채화, 실사 등 다양한 스타일 생성을 지원하며, 여러 참조 이미지 속 물체들을 일관성을 유지한 채 자연스럽게 합성해 냅니다。

통합 모델인 만큼 시각적 이해도 생성에 직접 연결됩니다. 미로 이미지를 입력하면 풀이 과정을 담은 영상으로 만들어내고, 도표나 그래프가 포함된 영상에 대해 질문하면 내용을 분석해 답을 내놓습니다。

구현 방식과 하드웨어 요구 사양

랜스는 무작정 모델 크기를 키우는 대신 듀얼 스트림 MoE(혼합 전문가) 구조를 택했습니다。

이해와 생성 경로를 분리해 서로 다른 작업 간의 간섭을 줄이면서도 공통 맥락을 학습하도록 설계했습니다. 활성 파라미터는 30억 개(3B) 수준이며, 전체 파라미터는 약 14B로 추정됩니다。

현재 코드와 논문이 공개되어 로컬 구동 가이드가 제공됩니다。

다만 개인이 직접 돌리기엔 문턱이 높습니다. 복합 시각 처리를 감당해야 하므로 최소 40GB 이상의 VRAM을 갖춘 GPU가 필요합니다。

왜 중요한가

랜스는 시각 모델들을 억지로 이어붙이지 않고도 멀티태스크 협업 구조로 높은 효율을 낼 수 있음을 보여줍니다。

이해 모델과 확산 모델을 각각 따로 쓰던 방식에 비해, 대화형으로 연속 편집을 수행할 때 일관성을 유지하기 훨씬 유리합니다。

단독 영상 생성 품질 자체는 아직 최고 수준이라 보기 어렵지만, 반복적인 수정과 피드백이 필요한 실무 작업 파이프라인의 기반 모델로서는 충분히 검토해 볼 만합니다。