센스타임, 코드로 영상 만드는 '센스노바 6.8 코드투비디오' 오픈소스 공개

기존 비디오 생성 AI를 써본 사람이라면 누구나 겪어본 답답함이 있습니다. 전반적인 분위기와 움직임은 마음에 드는데 구석의 글자 하나가 뭉개져 나오는 경우입니다. 그 텍스트 하나를 고치자고 프롬프트를 다시 넣어 뽑기를 돌리면, 공들여 건진 배경과 카메라 앵글마저 완전히 다른 장면으로 바뀌어 버립니다.

센스타임이 오픈소스로 공개한 '센스노바 6.8 코드투비디오(SenseNova 6.8 Code2Video)'는 이 문제를 완전히 다른 각도에서 풀어냅니다. 확산 모델이 픽셀을 직접 추정해 영상을 렌더링하는 대신, 실행 가능한 코드를 직접 짜서 프레임 단위로 영상을 렌더링하는 방식입니다.

영상 속 모든 요소를 코드로 제어하다

쉽게 말해 수학 교육 애니메이션에 자주 쓰이는 마님(Manim)이나 하이퍼프레임(HyperFrames) 같은 툴을 AI가 직접 다루는 셈입니다. 영상 안의 모든 그래픽과 텍스트가 코드상의 객체로 명시되기 때문에 글자가 깨지거나 물리 법칙을 벗어나는 오류가 원천적으로 줄어듭니다.

각 프레임이 시간 t에 따른 함수로 계산되어 렌더링되므로, 코드가 같으면 언제나 동일하고 오차 없는 결과물이 나옵니다. 함께 공개된 90초 분량의 론칭 필름과 공항 기계식 플랩 안내판, 기하학 애니메이션, 교육용 설명 영상 등 모든 샘플이 모델이 직접 작성한 코드로 제작되었습니다.

가장 강력한 무기는 단연 수정 편의성입니다. 예컨대 공항 안내판 영상을 뽑은 뒤 분위기나 재생 속도를 바꾸고 싶다면 짧은 피드백 한 줄만 주면 됩니다. 모델이 기존 프로젝트 코드를 열어 해당 부분만 수정하므로, 이미 완성된 다른 애니메이션이나 텍스트를 건드리지 않고 원하는 부분만 정밀하게 다듬을 수 있습니다.

55GB 덩치와 512K 컨텍스트가 주는 실용성

다만 이 도구를 로컬 환경에서 돌려보려면 만만치 않은 하드웨어가 필요합니다.

센스노바 6.8 코드투비디오는 Qwen3.8 27B를 기반으로 제작되어 모델 전체 용량이 약 55GB에 달합니다. 이를 쾌적하게 구동하려면 고사양 GPU가 필수적입니다. 센스타임은 깃허브와 허깅페이스에 가중치와 함께 LightLLM 기반 구동 가이드를 올려두었습니다.

주목할 만한 점은 512K에 달하는 방대한 컨텍스트 지원입니다. 정밀한 컨텍스트 압축 기술을 적용해 1,000턴이 넘는 장기 피드백 세션에서도 이전 코드 맥락을 잊지 않고 안정적으로 유지합니다.

센스타임의 시선은 단순 코드 렌더링에 머물지 않습니다. 코드를 매개체로 이미지 생성, 3D 모델링, 기존 비디오 모델을 엮어 하나의 파이프라인으로 구축하는 장기 목표를 세웠습니다. 카메라 좌표와 객체 위치가 수치로 정확히 남기 때문에 월드 모델 훈련을 위한 정밀 라벨링 데이터를 만드는 용도로도 확장할 수 있습니다.

왜 중요한가

우리는 센스타임의 이번 시도가 매우 영리한 접근이라고 봅니다. 현재 비디오 생성 시장은 극실사 묘사에 매몰되어 있지만, 정작 타이포그래피나 인포그래픽, 교육용 모션 그래픽 분야에서는 생성 모델의 블랙박스 환각과 수정 불가 문제가 최대 걸림돌이었습니다. 실무 디자이너에게 필요한 것은 통제 불가능한 화려함보다 수정 가능한 정확성입니다.

55GB라는 거대한 크기 탓에 일반인이 노트북에서 가볍게 써보기는 어렵지만, 파이프라인 자동화를 고민하는 개발팀이나 콘텐츠 스튜디오라면 즉시 테스트해볼 가치가 충분합니다.

모든 프레임을 인공신경망의 확률에만 맡길 필요는 없습니다. 뼈대와 물리 법칙, 모션은 코드로 정확히 통제하고 그 위에 시각적 디테일을 덧입히는 하이브리드 방식이 실제 프로덕션 환경에서 훨씬 강력한 대안이 될 수 있음을 이 모델이 잘 보여줍니다.