캐릭터닷AI, 사진 한 장으로 말하는 영상 만드는 '아바타FX' 공개

텍스트로만 대화하던 AI 캐릭터가 눈앞에서 직접 표정을 짓고 노래를 부르며 손짓을 섞어 말하는 영상으로 진화하고 있습니다.

Character.AI 는 멀티모달 팀이 자체 개발한 고성능 영상 생성 모델인 AvatarFX 를 공개했습니다. 정지된 이미지 한 장만 있으면 버튼 하나로 음성에 맞춰 자연스럽게 말하고 감정을 표현하는 시네마틱 영상을 만들어내는 기술입니다.

단순 립싱크를 넘어선 전신 일관성과 장편 생성

기존의 음성 기반 아바타 도구들은 입 모양만 어색하게 뻐끔거리거나 영상 길이가 조금만 길어져도 신체 형태가 무너지는 한계가 뚜렷했습니다.

AvatarFX 는 DiT 기반 플로우 확산 모델을 적용하고 독자적인 TTS 음성 엔진과 결합했습니다. 음성의 억양과 흐름에 맞춰 입술뿐 아니라 머리의 기울기, 시선, 손과 몸통의 움직임까지 유기적으로 생성하며 긴 호흡의 영상에서도 시간적 일관성을 유지합니다.

텍스트 프롬프트에 의존하지 않고 기존 이미지를 기반으로 생성하기 때문에 캐릭터 외형을 정밀하게 제어할 수 있습니다. 실사 인물은 물론 2D 애니메이션, 3D 카툰, 상상 속 생명체나 반려동물, 얼굴 형태를 띤 사물까지 소화하며, 여러 캐릭터가 차례로 대화를 주고받는 다자간 대화도 지원합니다.

대규모 서비스에 따르는 연산 비용을 낮추기 위해 증류 기법을 도입해 확산 단계를 크게 줄였습니다. 화질 손실 없이 추론 속도를 높였으며, 향후 몇 달 안에 전체 이용자에게 순차 적용될 예정입니다. 유료 구독자인 CAI+ 이용자에게는 대기자 명단을 통해 우선 접근권이 주어집니다.

실제 인물 얼굴을 자동 변형하는 딥페이크 차단책

영상의 현실감이 높아진 만큼 딥페이크와 초상권 침해에 대응하는 보안 장치도 대폭 강화했습니다.

미성년자나 유력 정치인, 유명 공인의 사진이 업로드되면 시스템이 이를 감지해 생성을 원천 차단합니다. 일반인의 사진을 올릴 경우에도 AI 가 이목구비를 자동으로 변형시켜 특정 인물로 식별할 수 없도록 익명화 처리합니다.

완성된 영상에는 실제 촬영물이 아님을 알리는 워터마크가 삽입되며, 대사 텍스트 역시 안전 필터를 거치게 됩니다. 사칭, 사이버 불링, 저작권 침해를 금지하는 엄격한 약관을 적용하고 위반 시 즉시 계정을 차단하는 무관용 원칙을 도입했습니다.

왜 중요한가

텍스트 대화창에 머물던 상호작용 AI 가 영상 중심의 몰입형 미디어로 전환하는 중요한 분기점입니다.

창작자와 일반 이용자 관점에서는 3D 모델링, 모션 캡처, 립싱크 렌더링 같은 복잡한 제작 파이프라인 없이도 그림 한 장으로 감정이 실린 애니메이션을 만들 수 있어 진입 장벽이 획기적으로 낮아집니다. 나만의 캐릭터로 웹툰이나 오디오 드라마 영상을 제작하는 작업이 일상화될 수 있습니다.

업계 측면에서는 단순 챗봇 서비스 간의 경쟁 축을 실시간 멀티모달 프레즌스로 옮겨 놓는 계기가 될 것입니다. 특히 영상 생성에 모델 증류 기술을 적극 도입해 대규모 상용화 시 발생하는 GPU 인프라 비용 문제를 정면으로 돌파하려 한 점은 매우 실용적인 선택으로 보입니다.

다만 실제 사람의 얼굴을 식별 불가능하게 강제 변형하는 안전 정책은 딥페이크 방지에는 탁월하지만, 개인 맞춤형 아바타를 원하는 이용자에게는 상당한 제약이 될 수 있습니다. 엄격한 안전 통제와 창작의 자유 사이에서 균형을 어떻게 맞출지가 상용화 성공의 관건이 될 것입니다.