MS 코파일럿, 음성 대화용 '움직이는 얼굴' 40종 추가…VASA-1 기술 적용

스마트폰 화면에 뜨는 둥근 음성 파형을 보며 말을 거는 일은 어딘가 허공에 대고 혼잣말을 하는 듯한 어색함을 남깁니다.

마이크로소프트가 이 어색함을 덜어내기 위해 나섰습니다. 실험적 기능을 선보이는 코파일럿 랩(Copilot Labs)을 통해 음성 대화 중 실시간으로 표정을 짓는 얼굴을 띄워주는 '코파일럿 포트레이트(Copilot Portraits)' 기능을 공개했습니다.

이번에 제공되는 아바타는 미리 제작된 40종입니다. 사용자가 음성으로 질문을 던지면, 화면 속 인물이 대화 내용에 맞춰 자연스럽게 고개를 움직이고 입 모양을 일치시키며 실시간으로 반응합니다.

단 한 장의 사진으로 구현한 VASA-1 기술

마이크로소프트 AI CEO인 무스타파 술레이만(Mustafa Suleyman)은 X를 통해 음성 대화를 나눌 때 상대방의 얼굴을 보고 이야기하는 편이 훨씬 편안하다는 사용자들의 피드백을 반영해 이 기능을 개발했다고 밝혔습니다.

기능의 기반이 된 핵심 기술은 마이크로소프트 리서치가 개발한 시각 AI 모델 'VASA-1'입니다.

복잡한 3D 그래픽 모델링 작업 없이도, 단 한 장의 정적 인물 이미지와 음성 신호만 결합하면 자연스러운 미세 표정과 고개의 움직임, 정교한 립싱크를 실시간으로 만들어내는 기술입니다.

마이크로소프트는 지난 7월에도 '코파일럿 어피어런스(Copilot Appearances)'라는 기능을 선보인 바 있지만, 당시에는 만화 같은 단순한 빛 덩어리 형태에 불과했습니다. 이번 업데이트를 통해 비로소 구체적인 사람의 얼굴 형태로 진화한 셈입니다.

다만 실사처럼 극도로 사실적인 외형은 의도적으로 피했습니다. 40종의 아바타는 모두 스타일화된 디자인으로 제작되어 인공지능임을 한눈에 알 수 있으며, 화면에도 AI와 대화 중임을 알리는 표시가 명확히 유지됩니다.

엄격한 제한과 신중한 출시

경쟁사들이 자극적인 가상 캐릭터를 앞세우는 것과 달리, 마이크로소프트는 매우 조심스러운 태도를 취하고 있습니다.

소셜미디어 X가 그록(Grok)에 3D 아바타를 도입하고 성인용 모드를 갖춘 AI 여자친구 캐릭터까지 선보인 반면, 캐릭터닷에이아이(Character.AI) 같은 플랫폼은 과도한 몰입과 안전 문제로 조사와 논란의 대상이 되고 있습니다.

이러한 부작용을 의식한 듯 코파일럿 포트레이트는 현재 미국, 영국, 캐나다의 18세 이상 일부 사용자를 대상으로만 제한적으로 테스트를 진행하고 있습니다.

또한 지나친 의존을 막기 위해 하루 총 사용 시간과 단일 세션 대화 시간에 엄격한 제한을 걸어두었습니다.

왜 중요한가

음성 비서에게 얼굴을 달아주는 시도는 단순한 시각 효과 이상의 의미가 있습니다. 화면 속 상대와 눈을 맞추며 대화하는 감각을 제공함으로써, 브레인스토밍 파트너나 일상적인 상담 상대로서의 심리적 거리감을 크게 좁혀줍니다.

기술적인 접근법 역시 돋보입니다. 무거운 3D 렌더링 파이프라인 대신 VASA-1을 활용해 단 한 장의 이미지로 지연 시간 없는 표정 동기화를 구현해 냈습니다. 서버 비용과 레이턴시를 크게 아끼면서도, 향후 사용자가 원하는 이미지를 직접 올려 아바타로 쓰는 방향으로 확장하기에 매우 유리한 구조입니다.

'불쾌한 골짜기'를 피하기 위해 실사화를 지양하고 세션 이용 시간을 제한한 점도 현명한 선택입니다. 경쟁사들이 도파민을 자극하는 방향으로 나아갈 때, 마이크로소프트는 안전하고 신뢰할 수 있는 도구라는 본래의 영역을 지키며 실용적인 가치를 높이는 길을 택했습니다.