바이트댄스, '시댄스 2.0' 공개: 물속을 걷는 듯한 왜곡 줄인 동영상 AI

지난 1년간 생성형 AI로 만든 영상을 보면 특유의 물속을 유영하는 듯한 굼뜬 움직임이나 팔다리가 뭉개지는 어색함이 늘 발목을 잡았습니다.

틱톡 모회사 바이트댄스가 공개한 차세대 비디오 생성 모델 'Seedance 2.0'은 이러한 한계를 단숨에 지워내려는 모습입니다. 현재 베타 단계인 이 모델은 바이트댄스의 영상 플랫폼 지멍 AI(Jimeng AI)와 두바오(Doubao) 일부 사용자에게 공개된 직후 뛰어난 완성도로 소셜 미디어를 달구고 있습니다.

이미지 9장과 오디오 3개를 먹이자, 침묵한 할리우드 각본가

Seedance 2.0에서 가장 눈에 띄는 대목은 텍스트, 이미지, 오디오, 비디오를 한 번에 결합해 프롬프트로 처리하는 멀티모달 제어력입니다.

사용자는 텍스트 프롬프트를 다듬기 위해 최대 9장의 이미지, 3개의 비디오 클립, 3개의 오디오 파일을 동시에 입력할 수 있습니다. 바이트댄스에 따르면 텍스트 기반 스토리보드를 읽어 들여 연출과 카메라 앵글을 유지하는 것도 가능합니다.

바이트댄스가 공개한 피겨 스케이팅 시연에서는 두 명의 선수가 실제 물리 법칙에 맞춰 동시에 도약하고 공중 회전 후 정확히 착빙하는 고난도 동작을 매끄럽게 소화했습니다.

소셜 미디어에서는 브래드 피트와 톰 크루즈가 실제 영화처럼 난투극을 벌이는 액션 영상이 급속도로 퍼졌습니다. 영화 '데드풀'의 각본가 렛 리스는 이 영상을 공유하며 "이런 말을 하긴 싫지만, 우리는 이제 끝난 것 같다"는 촌철살인의 반응을 남기기도 했습니다.

이 모델은 최대 15초 길이, 2K 해상도의 영상을 자체 생성 오디오와 함께 뽑아냅니다. 바이트댄스는 이와 함께 이미지 생성 모델 'Seedream 5.0' 프리뷰 버전도 일부 서드파티 앱에 조용히 선보인 것으로 알려졌습니다.

저작권 논란과 틱톡 탑재 사이의 정치적 장벽

하지만 기술적 성과 이면에는 넘어야 할 산이 많습니다. 현재 X 등 소셜 플랫폼에는 '드래곤볼', '포켓몬' 등 유명 IP 캐릭터를 활용한 영상이 여과 없이 올라오고 있어 저작권 필터링 시스템이 제대로 작동하는지 의문이 제기됩니다.

글로벌 틱톡 앱으로의 직접 확장도 당장은 불투명합니다. 틱톡은 이미 다양한 AI 편집 기능을 갖추고 있지만, 미국 내 사업 부문인 TikTok USDS는 트럼프 행정부 시절 임명된 경영진이 이끄는 독립 법인 형태를 띠고 있습니다.

미국 정부가 자국 중심의 AI 패권을 강조하는 상황에서, 중국 연구진이 주도한 핵심 AI 비디오 기술을 미국판 틱톡에 적극적으로 얹기는 정치적으로 쉽지 않은 선택입니다.

왜 중요한가

영상 제작자와 크리에이터에게 Seedance 2.0은 텍스트 몇 줄로 운에 맡기던 '가챠' 방식을 끝내고, 9장의 참조 이미지와 오디오로 정확한 연출을 지시할 수 있는 실질적인 프리비즈 툴의 등장을 의미합니다. 지멍 AI 접근 권한이 있다면 콘티 검증 및 프로토타입 제작용으로 즉시 테스트해 볼 가치가 충분합니다.

산업 측면에서는 콰이쇼우의 클링 3.0에 이어 바이트댄스까지 초격차 모델을 쏟아내며, 생성형 비디오 영역에서 중국 빅테크의 역량이 오픈AI의 소라 2나 구글의 베오 3를 바짝 추격하거나 일부 앞서고 있음을 입증했습니다.

우리가 보기에 바이트댄스의 다중 참조 방식은 기술적으로 매우 영리하지만, 두 가지 명확한 암초가 있습니다. 저작권 보호 장치가 미흡해 서구 엔터테인먼트 업계의 소송 위험에 노출돼 있다는 점, 그리고 천문학적인 인프라 비용 대비 수익화 경로가 불분명하다는 점입니다. 메타가 3년간 6천억 달러 규모의 데이터센터 투자를 계획할 만큼 인프라 비용이 치솟는 상황에서, 상업적 회수 방안 없는 기술 시연은 장기적인 동력이 되기 어렵습니다.