엔비디아, 웹캠 AI로 미국 수어 가르치는 플랫폼 'Signs' 공개

미국 수어(ASL)는 미국 내에서 영어와 스페인어에 이어 세 번째로 널리 쓰이는 언어입니다. 하지만 AI 기술이 쏟아져 나오는 지금도 수어 기반 데이터는 텍스트나 음성에 비해 턱없이 부족한 실정입니다.

이 격차를 좁히기 위해 엔비디아(NVIDIA)가 미국 청각장애아동협회(ASDC), 크리에이티브 에이전시 헬로 먼데이(Hello Monday)와 손잡고 웹 기반 상호작용형 수어 플랫폼 '사인스(Signs)'를 선보였습니다.

웹캠으로 실시간 피드백 받는 수어 학습

사인스는 별도 프로그램 설치 없이 브라우저에서 바로 사용할 수 있는 교육 도구입니다.

화면 속 3D 아바타가 수어 동작을 시연하면, 사용자는 웹캠 앞에서 이를 따라 합니다. AI 도구가 카메라에 잡힌 손동작과 손가락 위치를 인식해 실시간으로 자세를 교정해 줍니다. 현재 일상 소통에 유용한 기초 단어 100개가 먼저 공개되었습니다.

이 플랫폼을 구축한 헬로 먼데이는 이전에도 ASDC와 협력해 지문자 학습 사이트인 'Fingerspelling.xyz'를 개발한 바 있습니다.

사인스는 학습 도구이자 데이터 수집 도구이기도 합니다. 초보자부터 숙련자까지 누구나 특정 단어의 수어 영상을 녹화해 데이터 구축에 기여할 수 있습니다.

엔비디아의 목표는 1,000개 수어 단어를 아우르는 40만 개의 영상 클립을 확보하는 것입니다. 데이터 품질을 위해 전문 수어 통역사와 원어민 수준의 사용자가 모든 영상을 직접 검증합니다.

이렇게 모인 데이터셋은 향후 대중에게 무료 공개되어 수어 통역 에이전트, 디지털 휴먼, 화상회의 접근성 툴 개발에 활용될 예정입니다.

손동작만으로는 부족한 수어의 문법

물론 한계도 명확합니다. 실제 수어는 손동작뿐 아니라 표정이나 고개의 기울임 같은 '비수지 신호'가 중요한 문법 요소로 작용합니다.

현재 버전의 사인스는 손과 손가락의 위치 추적에만 집중되어 있습니다. 개발팀은 향후 업데이트를 통해 얼굴 표정과 머리 움직임까지 추적하는 방안을 연구하고 있습니다.

또한 지역별 방언이나 은어 표현을 데이터베이스에 반영하는 작업을 진행 중이며, 로체스터 공과대학교 접근성·포용성 연구센터(CAIR)와 협력해 청각장애인 당사자들의 사용성을 검증하고 있습니다.

왜 중요한가

청각장애를 가진 아이들의 대다수는 청인 부모 밑에서 태어납니다. 아이가 생후 6~8개월 무렵부터 언어적 유대를 형성해야 하지만, 부모가 당장 전문 학원을 다니기는 쉽지 않습니다. 웹캠 하나로 집에서 가족이 함께 기초 수어를 익힐 수 있다는 점만으로도 실질적인 문턱을 크게 낮춰줍니다.

AI 업계 관점에서도 검증된 고화질 수어 데이터는 극도로 희귀한 자원입니다. 3차원 공간 움직임과 시간 축이 결합된 수어 데이터는 수집 비용이 매우 높습니다. 엔비디아가 40만 건 규모의 정제된 데이터를 오픈소스로 풀겠다는 것은 향후 접근성 기술 전반의 기초 체력을 마련해 주는 셈입니다.

무료 학습 서비스를 제공하면서 사용자들의 자발적 참여로 데이터를 모으는 크라우드소싱 모델은 매우 영리해 보입니다. 다만 표정과 문맥 정보가 빠진 손동작 인식만으로는 진정한 대화형 AI를 만들기 어렵다는 본질적인 한계가 있습니다. 향후 비수지 신호 추적 기술이 얼마나 빠르게 결합되느냐가 이 프로젝트의 성패를 가를 것으로 보입니다.