구글 딥마인드 수어 번역 모델 SL2T 발표: 픽셀 11에서 수어로 입력

길을 걸으며 음성으로 메시지를 보내거나 검색하는 일은 비장애인에게 익숙한 일상입니다. 하지만 수어를 제1언어로 사용하는 전 세계 7천만 명 이상의 농인과 난청인에게 스마트폰 입력은 여전히 화면 속 작은 자판을 두드리는 일에 갇혀 있었습니다.

Google DeepMind가 대규모 다국어 수어-텍스트 번역 모델인 SL2T를 공개했습니다. 이 모델은 연구 단계를 넘어 실제 상용 기기에 곧바로 탑재됩니다. Pixel 11의 Gboard 키보드와 실시간 전사(Live Transcribe) 기능에 기본 적용되며, 우선 미국 수어(ASL)를 영어 텍스트로 번역하는 기능부터 무료로 지원합니다.

원본 영상은 버리고 관절 좌표만 전송한다

수어는 단순히 음성 언어를 손짓으로 흉내 낸 것이 아니라 독자적인 문법과 어휘 체계를 갖춘 자연어입니다. 손과 팔은 물론 얼굴 표정과 상체 움직임이 동시에 의미를 만들어내기 때문에 기존의 순차적 음성 인식 기술과는 접근법 자체가 달라야 합니다.

DeepMind는 50개 이상의 수어에 걸친 10만 시간 이상의 데이터를 바탕으로 SL2T를 학습시켰으며, 이 중 약 4분의 1이 미국 수어 데이터입니다. 중간 표기 단계를 거치지 않고 신체 움직임에서 문맥에 맞는 텍스트로 직행하는 방식을 택해, FLEURS-ASL 벤치마크에서 제로샷 70 BLEURT라는 최고 기록을 달성했습니다.

가장 눈에 띄는 대목은 개인정보 보호 설계입니다. 카메라 영상을 클라우드로 전송하면 심각한 사생활 침해 문제가 생기기 때문에, 기기 내부에서 MediaPipe Holistic 모델로 신체 관절 좌표만 먼저 추출합니다. 원본 영상은 그 즉시 삭제되며, 서버에는 점 좌표 데이터만 전송되어 텍스트로 번역됩니다.

한 손으로 스마트폰을 든 채 다른 한 손으로만 수어를 하거나, 전체 사용자의 10% 수준인 왼손잡이 동작, 그리고 수어를 하지 않을 때 엉뚱한 글자가 찍히는 환각 현상까지 세밀하게 보정했습니다.

자판 대신 수어로 Gemini와 대화하기

사용자는 텍스트를 입력해야 하는 거의 모든 환경에서 수어 받아쓰기를 켤 수 있습니다. 전면 카메라를 보며 수어로 메시지를 작성하거나 문서를 작성하고, 검색을 하거나 Gemini에 작업을 지시하는 식입니다.

실시간 전사 기능을 켜두면 상대방의 음성이 텍스트로 바뀌는 것을 보면서, 자신은 수어로 답변을 입력해 화면에 띄울 수 있어 휴대전화를 주거니 받거니 할 필요가 없습니다. 테스트에 참여한 사용자들은 영어 타자보다 모어인 수어로 입력하는 편이 훨씬 빠르고 자연스럽다고 전했습니다.

이 프로젝트는 농인인 Google 직원 Sam Sepah의 아이디어에서 출발해 전 세계 농인 단체와 전문가가 참여한 자문위원회를 거쳐 출시되었습니다.

왜 중요한가

우리는 SL2T가 수어를 단순한 보조 수단이 아니라 음성과 대등한 하나의 독립된 입력 인터페이스로 끌어올렸다는 점에서 의미가 크다고 봅니다. 수어를 모어로 쓰는 이들에게 영어 타이핑은 머릿속에서 한 차례 번역을 거쳐야 하는 피로한 작업인데, 이제는 자연스러운 몸짓만으로 스마트폰의 모든 기능을 제어할 수 있는 길이 열렸습니다.

기기 내에서 관절 좌표만 따내고 원본 영상을 즉시 버리는 아키텍처는 개인정보 우려와 전송 대역폭 문제를 동시에 푼 영리한 선택입니다. 다만 어두운 조명이나 역광, 빠른 손놀림에서 랜드마크 인식이 흔들릴 때의 번역 안정성은 실제 사용자 환경에서 추가로 검증되어야 할 대목입니다.

산업 측면에서도 이번 출시는 멀티모달 AI의 지평을 넓혔습니다. 그동안 빅테크의 접근성 기술이 화면 낭독이나 텍스트 크기 확대 같은 기능에 머물렀다면, DeepMind는 생성형 AI의 핵심 입력 경로에 수어를 직접 편입시켰습니다. 애플을 비롯한 경쟁사들에게도 입력 인터페이스의 기준을 다시 생각하게 만드는 강력한 자극제가 될 것으로 보입니다.