바이트댄스, 'X-Portrait 2' 공개: 사진 한 장으로 명작 영화 표정 연기 재현

사진 한 장과 영화의 한 장면만 있으면, 사진 속 인물이 명배우 못지않은 공포와 분노의 감정을 연기하는 영상이 만들어집니다.

틱톡 모회사인 바이트댄스가 정지된 사진을 영화 수준의 감정 연기 영상으로 변환하는 AI 시스템 'X-Portrait 2'를 공개했습니다. 공개된 데모에서는 일반 사진 속 인물이 영화 '샤이닝', '페이스 오프', '펜스'의 명장면을 그대로 재현하며, 숙련된 배우 수준의 미세한 안면 근육 떨림과 시선 처리를 완벽하게 보여줍니다.

점 찍는 추적 방식 버리고 안면 근육의 흐름 학습

기존의 사진 기반 얼굴 애니메이션 도구들은 대부분 얼굴 위에 수십 개의 기준점을 찍어 움직임을 이어 붙이는 방식을 썼습니다. 이 방식은 말을 빠르게 하거나 고개를 돌리면 곧바로 기계적인 왜곡이나 어색함이 드러나는 한계가 있었습니다.

X-Portrait 2는 기준점 추적 방식을 과감히 버렸습니다. 얼굴 전체의 자연스러운 근육 흐름과 미세한 눈 움직임을 통째로 관찰하고 학습하도록 설계해, 시야각이 달라지거나 빠른 대사가 이어지는 상황에서도 자연스러운 표정을 유지합니다.

실제 사람 사진뿐만 아니라 애니메이션 스타일의 일러스트나 고전 유화 초상화에도 똑같이 감정 연기를 입힐 수 있는 유연성을 갖췄습니다.

이러한 사실감의 바탕에는 매일 10억 개 이상의 사용자 영상이 오가는 틱톡 플랫폼이 있습니다. 합성 데이터나 제한적인 데이터셋에 의존하는 경쟁사들과 달리, 다양한 인종과 조명 환경이 반영된 대규모 실제 표정 데이터를 확보하고 있다는 점이 바이트댄스의 독보적인 무기입니다.

모델은 비공개 유지, 글로벌 연구 거점은 확대

기술적 성과와 별개로 바이트댄스는 X-Portrait 2의 코드를 외부에 공개하지 않고 비공개 상태로 유지하기로 했습니다. 미국 대선 이후 딥페이크와 디지털 허위 정보에 대한 사회적 경계가 극에 달한 상황에서 무단 영상 합성 남용을 우려한 조치로 풀이됩니다.

동시에 바이트댄스는 AI 연구 역량을 글로벌로 확장하고 있습니다. 스위스, 영국, 프랑스 등 유럽 내 신규 연구 센터 설립을 추진 중이며, 말레이시아에는 21억 3천만 달러 규모의 AI 센터를 구축하고 칭화대와의 협력도 이어가고 있습니다.

캐나다 정부의 틱톡 사업 중단 명령 등 서구권의 규제 압박과 지난 10월 AI 모델 학습을 방해한 인턴 해고 사건 같은 보안 이슈 속에서도 기술적 확장을 밀어붙이는 모양새입니다.

왜 중요한가

오픈AI와 앤트로픽이 텍스트와 코딩을 중심으로 한 인공일반지능에 매달릴 때, 바이트댄스는 카메라 앞에서 사람이 어떻게 움직이고 감정을 전달하는지 파악하는 자신들의 본업에 집중하고 있습니다. 아주 영리한 틈새 공략이자 강력한 해자입니다.

영상 제작 및 엔터테인먼트 업계에 미칠 파급력은 상당합니다. 현재 대형 스튜디오들은 실감 나는 얼굴 표정을 만들기 위해 수백만 달러 규모의 모션 캡처 장비와 수많은 애니메이터를 투입하고 있습니다. X-Portrait 2는 사진 한 장과 레퍼런스 영상만으로 이 값비싼 파이프라인을 대체할 가능성을 보여줍니다.

다만 일반 창작자나 개발자가 당장 써볼 수 있는 도구는 아닙니다. 바이트댄스가 코드를 꽁꽁 싸맨 것은 규제 폭풍을 피하기 위한 현명한 선택이지만, 한편으로는 기술의 대중화를 늦추는 요인이기도 합니다. 향후 캡컷이나 틱톡의 내부 필터 또는 제한된 기업용 도구로 먼저 적용될 것으로 보이며, 사실성이 너무 뛰어난 만큼 진짜와 가짜를 판별하는 사회적 비용은 더욱 커질 것으로 보입니다.