한국 연구팀, 수어를 실시간 번역하는 7개 AI 스마트 링 개발

수어를 실시간으로 번역하려는 시도는 많았지만, 카메라를 쓰면 조명과 배경에 따라 인식이 불안정해지고 센서 장갑을 쓰면 두꺼운 방한 장갑처럼 손가락이 굳어 일상생활에서 착용하기 어려웠습니다.

이러한 문제를 해결하기 위해 국내 연구진이 손가락 움직임을 자유롭게 유지하면서 수어를 실시간 텍스트로 바꿔주는 무선 AI 스마트 링 시스템을 개발했습니다.

7개 손가락에 맞춘 반투명 밴드형 링

연구팀은 열 손가락을 모두 감싸는 대신 수어 동작에서 가장 쓰임새가 큰 7개 손가락만 골라냈습니다. 오른손 새끼손가락과 왼손 가운뎃손가락, 왼손 엄지손가락은 착용 대상에서 과감히 제외했습니다.

각 링은 둘째 마디 바로 아래에 착용하며 신축성 있는 소재로 제작되어 일반적인 반지보다는 반투명 반창고에 가깝습니다. 손 크기에 맞춰 자연스럽게 늘어나 센서 위치가 틀어지는 문제를 줄였습니다.

내부에는 초소형 가속도계와 얇은 블루투스 모듈, 전력 관리 칩이 탑재되었으며 교체형 배터리로 최대 12시간 가까이 작동합니다. 스마트워치 등에서 널리 쓰이는 표준 부품을 활용해 하드웨어 단가도 낮췄습니다.

미국 수어(ASL)와 국제 수어(ISL)의 대표 단어 100개를 학습시킨 결과, 장비를 처음 착용한 사용자 테스트에서도 88% 이상의 인식 정확도를 기록했습니다.

스마트폰 타자처럼 다음 단어 자동 완성

수어에 능숙한 사람은 1분에 100개에서 150개의 동작을 구사하는데, 이는 일반적인 음성 대화 속도와 비슷합니다. 기기가 동작을 하나하나 처리하느라 지연이 생기면 대화가 뚝뚝 끊기게 됩니다.

연구팀은 이를 해결하기 위해 AI 자동 완성 기능을 도입했습니다. 스마트폰 키보드가 단어를 추천하듯, 앞서 입력된 수어 동작을 바탕으로 다음에 올 단어와 문장을 실시간으로 예측합니다.

정적인 손가락 모양뿐 아니라 '춤'이나 '비행'처럼 손을 움직이는 동적 표현도 포착할 수 있어, '가족은 아름다운 동물을 원한다' 같은 단순 문장을 막힘없이 문맥에 맞게 완성해 냅니다.

왜 중요한가

지금까지 나온 수어 번역 웨어러블은 센서를 과도하게 달아 무거워지거나 사용자마다 긴 보정 과정을 거쳐야 해 상용화가 어려웠습니다. 이번 연구는 7개 손가락만 추려내 하드웨어를 극단적으로 가볍게 만든 실용적인 타협이 돋보입니다.

전선 없이 반창고처럼 얇게 밀착되는 형태는 청각장애인이 일상에서 카페 주문이나 간단한 대화에 실제로 활용할 만한 편의성을 제공합니다. 속도 한계를 문맥 예측 AI로 보완한 점도 영리한 설계입니다.

다만 손가락 동작만 추적하는 방식은 근본적인 한계가 있습니다. 수어는 손동작뿐 아니라 표정, 입모양, 어깨 움직임, 동작의 속도와 리듬에 따라 뉘앙스와 긍정·부정의 의미가 완전히 달라집니다. 얼굴과 상체 정보를 놓치면 의도가 심각하게 왜곡될 위험이 있습니다.

현재 인식 단어가 100개 수준인 만큼 범용 번역기로 쓰이기까지는 갈 길이 멉니다. 하지만 이 가벼운 손가락 추적 기술은 당장 AR 안경용 미세 제스처 입력 장치나 물리 치료 재활 동작 추적 분야에 먼저 응용되어 가치를 증명할 가능성이 높아 보입니다.