컬럼비아대, 유튜브 보고 립싱크 배우는 실리콘 로봇 얼굴 개발

인간형 로봇이 입을 열고 말할 때 느껴지는 특유의 오싹함을 경험해 본 적이 있을 것입니다. 음성과 입모양이 겉돌고 움직임이 딱딱해 불쾌한 골짜기를 벗어나지 못하는 경우가 대부분이었습니다.

컬럼비아 공대 크리에이티브 머신스 랩 연구진이 이 문제에 대한 새로운 해법을 내놓았습니다. 26개의 초소형 모터로 구동되는 유연한 실리콘 로봇 얼굴을 만들고, 정교한 제어 규칙을 코딩하는 대신 유튜브 영상을 보여주며 스스로 립싱크를 배우게 한 것입니다.

거울 보고 표정 익힌 뒤 유튜브로 자습

그동안 핸슨 로보틱스의 소피아 같은 로봇들은 특정 음소에 맞춰 모터를 얼마나 당길지 미리 정해둔 규칙 기반 방식을 사용해 왔습니다. 하지만 이런 방식은 사람 얼굴 근육의 유연함을 따라가지 못해 늘 어색함을 남겼습니다.

연구진은 완전히 다른 길을 택했습니다. 먼저 로봇 얼굴을 거울 앞에 두고 몇 시간 동안 무작위로 온갖 표정을 짓게 만들었습니다. 26개의 모터가 움직일 때 실리콘 피부가 어떻게 반응하는지 스스로 파악하도록 한 것입니다.

자신의 물리적 특성을 학습한 로봇은 다음 단계로 인간이 말하고 노래하는 유튜브 영상을 시청했습니다. 연구진이 '시각-행동' 모델이라 부르는 방식을 통해, 들려오는 음성과 사람의 입술 움직임을 스스로 매핑했습니다.

미리 짜인 프로그래밍 규칙은 전혀 없었습니다. 그럼에도 불구하고 이 자율 학습 시스템은 기존의 5가지 접근 방식을 성능 면에서 모두 앞질렀습니다.

더 놀라운 것은 확장성입니다. 특정 언어에 맞춘 훈련 데이터를 전혀 넣지 않았는데도 무려 11개 언어에 걸쳐 자연스러운 립싱크를 구현했습니다. 여기에 ChatGPT를 결합하면 로봇이 생각하면서 자연스럽게 입을 벙긋거리며 대화하는 장면이 완성됩니다.

왜 중요한가

소피아 로봇이 등장한 지 10년 가까이 지났지만, 로봇의 안면 표현은 여전히 굳은살처럼 뻣뻣했습니다. 컬럼비아대 연구진의 성과가 영리한 이유는 복잡한 모터 제어를 프로그래머의 노가다가 아닌 로봇 자신의 신체 모방 학습으로 전환했다는 점입니다.

로봇이 스스로 거울을 보며 하드웨어의 한계를 먼저 이해한 뒤 외부 데이터를 모방하게 만든 구조는, 엄청난 엔지니어링 비용을 줄여줄 뿐 아니라 다국어 환경까지 단숨에 해결했습니다.

서비스 로봇이나 돌봄 로봇을 도입하려는 업계 입장에서는 반가운 진전입니다. 거대언어모델의 두뇌에 불쾌한 골짜기를 지워낸 얼굴이 결합되면, 사람이 기계와 마주할 때 느끼는 심리적 거리감이 크게 줄어들기 때문입니다.

하지만 표정이 너무 그럴듯해지는 데서 오는 부작용도 만만치 않습니다. 연구진이 지적했듯 감정적으로 사람을 완벽히 설득할 수 있는 기계가 등장했을 때 발생할 정서적 착취나 신뢰 남용 문제에 대해, 우리는 아직 충분한 대비책을 갖추지 못했습니다.