Pika, 립싱크 기능 출시: 일레븐랩스와 연동해 캐릭터 입모양 맞춘다

지금까지 생성형 AI로 만든 영상을 보면 늘 어색한 공통점이 있었습니다. 등장인물들이 입을 꾹 닫고 있거나, 말을 시키는 순간 엉성한 저예산 인형극처럼 입술이 따로 놀았다는 점입니다.

AI 비디오 생성 스타트업 피카(Pika)가 이 문제를 해결할 새로운 기능인 '립싱크(Lip Sync)'를 공개했습니다. 생성형 음성 기술 기업인 일레븐랩스(ElevenLabs)와의 협업을 통해, 영상 속 캐릭터가 대사에 맞춰 자연스럽게 입을 뻐끔거리며 말하는 기능을 구현한 것입니다.

이번 기능은 텍스트를 음성으로 변환하는 방식과 사용자가 직접 녹음한 오디오 파일을 업로드하는 방식을 모두 지원합니다. 대사를 입력하고 목소리 스타일을 고르거나 직접 녹음한 음성을 넣으면, 영상 속 인물의 입 모양이 음성 타이밍에 맞춰 실시간으로 애니메이션화됩니다.

다만 현재는 얼리 액세스 형태로 제한 제공됩니다. 1년 치를 일시불로 결제해야 하는 피카 프로(월 58달러, 연 696달러) 유독자나 디스코드 커뮤니티의 초대 전용 프로그램인 '슈퍼 콜라보레이터(Super Collaborators)' 멤버만 쓸 수 있습니다.

서사 영상 제작의 최대 난제를 풀다

그동안 AI 영상 속 인물에게 대사를 입히려면 영상을 외부로 내보낸 뒤 여러 서드파티 툴을 거쳐야만 했습니다. 작업 과정이 몹시 번거로웠을 뿐 아니라, 결과물 역시 몬티 파이선 식의 조잡한 합성 느낌을 벗어나기 어려웠습니다.

피카가 이 기능을 자체 플랫폼에 기본 탑재하면서, AI를 활용한 본격적인 스토리텔링 영상 제작의 진입 장벽이 크게 낮아졌습니다. 시각적 사실감이나 물리 엔진의 정교함 측면에서는 오픈AI의 소라(Sora)나 경쟁사 런웨이(Runway)에 다소 뒤처진다는 평가가 많지만, 대사 전달이라는 서사의 핵심 기능을 먼저 쥐게 된 셈입니다.

경쟁사들의 추격도 매섭습니다. 런웨이는 같은 주에 '멀티 모션 브러시' 기능을 업데이트하며, 사용자가 일일이 칠하지 않아도 피사체를 자동으로 감지해 최대 5개의 독립된 움직임을 부여할 수 있도록 개선했습니다. 피카 역시 캔버스 확장이나 부분 편집을 지원하지만, 런웨이 수준의 정밀한 모션 브러시 제어는 아직 지원하지 못합니다.

학습 데이터를 둘러싼 잡음도 여전합니다. AI 윤리 인증 기관 페어리 트레인드의 대표이자 전 스태빌리티 AI 오디오 부사장이었던 에드 뉴턴-렉스는 X를 통해 피카가 어떤 데이터로 비디오 모델을 훈련했는지 공개 질의를 던졌습니다. 한편 할리우드의 타일러 페리 감독은 소라의 결과물을 본 뒤 일자리 축소를 우려해 8억 달러 규모의 스튜디오 확장 계획을 전면 중단하는 등 현장의 위기감도 고조되고 있습니다.

왜 중요한가

우리는 피카의 이번 선택이 단순한 기술 과시보다 훨씬 실용적인 승부수였다고 봅니다.

오픈AI의 소라가 아무리 놀라워도 아직 대중이 써볼 수 없는 '그림의 떡'인 반면, 피카의 립싱크는 현업 창작자가 당장 워크플로에 도입할 수 있는 실체적인 도구이기 때문입니다. 숏폼 드라마, 유튜브 콘텐츠, 브랜드 홍보 영상을 제작하는 창작자라면 대사 씬 하나를 만들기 위해 소프트웨어를 전전하던 비효율을 크게 줄일 수 있습니다. 다만 연간 700달러에 달하는 프로 플랜 구독료는 가벼운 취미 사용자가 선뜻 진입하기에 여전히 부담스러운 문턱입니다.

산업적 관점에서는 AI 비디오 시장의 경쟁 축이 '단순한 화질 경쟁'에서 '영상과 오디오가 결합된 완제품 파이프라인'으로 이동하고 있음을 보여줍니다. 자체 음성 엔진을 무리하게 개발하는 대신 시장 선두인 일레븐랩스와 손을 잡은 전략도 현명했습니다. 외부 기술 의존도와 학습 데이터 출처 논란이라는 숙제는 남아 있지만, 말 못 하던 AI 캐릭터들의 침묵을 깼다는 점에서 중요한 이정표임이 분명합니다.