바이트댄스, 스마트폰서 오프라인 작동하는 이미지 생성 모델 '드림라이트' 공개

스마트폰으로 사진을 편집할 때 가장 답답한 순간은 로딩 화면을 바라보고 있을 때입니다. 명령어를 입력한 뒤 몇 초씩 결과를 기다려야 하고, 지하철이나 비행기처럼 인터넷이 안 터지는 곳에서는 기능 자체가 멈춰버립니다.

바이트댄스는 스마트폰 기기 내부에서 완전 오프라인으로 구동되는 3억 9천만 파라미터 규모의 초경량 확산 모델 'DreamLite'를 공개했습니다. 텍스트 기반 이미지 생성뿐만 아니라 자연어 기반 이미지 편집 기능까지 단일 모델 안에 통합한 것이 특징입니다.

아이폰 17 프로 환경에서 1024×1024 해상도의 인물 사진을 생성하는 데 걸리는 시간은 약 3초에 불과합니다. 4단계 증류 기법을 적용해 샤오미 14에서 구동했을 때는 이미지 생성과 편집 모두 1초 미만으로 단축되었습니다.

3.9억 파라미터로 구현한 오프라인 생성과 편집

지금까지 모바일 기기용으로 경량화된 모델들은 대부분 단순 텍스트-이미지 생성에만 치중되어 있었고, 기존 이미지를 자연어로 편집하는 작업은 대형 클라우드 모델의 몫이었습니다.

DreamLite는 이 두 가지 작업을 하나로 합쳤습니다. 텍스트를 입력해 새로운 이미지를 만들어내는 것은 물론, 기존 풍경 사진을 유화나 수채화 스타일로 바꾸거나 한낮의 풍경을 얼어붙은 겨울 호수로 손쉽게 바꿀 수 있습니다.

세부적인 편집 작업도 지원합니다. 사진 속 특정 새를 지우거나, 선인장 사진의 배경을 통째로 교체하고, 무지개를 띄우거나 사이버펑크 스타일로 톤을 바꾸는 작업을 기기 내에서 즉시 처리합니다.

3.9억이라는 초소형 크기 특성상, 인물의 미세한 피부 질감이나 동물의 털 같은 극단적인 디테일은 수십억 개 파라미터를 지닌 클라우드 최상위 모델보다 떨어집니다. 하지만 비슷한 체급의 소형 온디바이스 모델들과 비교하면 훨씬 깔끔한 품질과 빠른 반응 속도를 보여줍니다.

가벼운 모델 하나에 두 가지 능력을 담은 비결

생성과 편집을 작은 모델 하나에 우겨넣기 위해 연구진은 가지치기된 모바일 U-Net 구조를 채택하고, 잠재 공간에서 이미지를 가로로 이어붙이는 방식을 도입했습니다.

생성 작업을 할 때는 목표 이미지와 빈 캔버스를 이어붙이고, 편집 작업을 할 때는 목표 이미지와 원본 소스 이미지를 나란히 배치해 입력합니다. 별도의 복잡한 어댑터 모듈 없이 하나의 구조로 두 가지 작업을 자연스럽게 처리하도록 만든 것입니다.

학습 과정에서도 생성부터 편집, 통합 단계로 이어지는 점진적 공동 사전학습을 거친 뒤 고품질 파인튜닝과 강화학습을 적용했습니다. 그 결과 벤치마크 테스트에서 GenEval 0.72점, ImgEdit 4.11점을 기록하며 기존 온디바이스 모델들을 제치고 일부 서버용 모델에 근접하는 성능을 보였습니다.

왜 중요한가

일반 사용자에게 가장 직접적인 혜택은 네트워크 없는 즉각적인 처리와 완벽한 개인정보 보호입니다. 민감한 개인 사진을 외부 클라우드로 업로드할 필요가 전혀 없으며, 통신 상태에 상관없이 일관된 편집 기능을 쓸 수 있습니다.

스마트폰 제조사와 생태계 관점에서도 온디바이스 멀티모달 모델의 실용 가능성을 입증한 중요한 사례입니다. 과거 기기 내장형 편집 도구가 단순한 객체 지우개나 필터 적용 수준에 머물렀다면, 이제는 0.39B 수준의 극소형 모델로도 복합적인 언어 명령 편집이 가능해졌습니다.

우리는 바이트댄스가 성능의 상한선보다 실사용 환경에서의 효용을 우선시한 영리한 선택을 했다고 봅니다. 모바일 환경에서 중요한 것은 천문학적인 파라미터로 디테일을 극대화하는 것보다, 배터리를 덜 쓰고 1~3초 만에 작업을 끝내는 즉시성입니다. 그런 관점에서 DreamLite의 방향성은 앞으로 온디바이스 AI 도구들이 나아갈 표준적인 모습을 잘 보여줍니다.