구글 번역 사상 최대 업데이트…PaLM 2로 광둥어 등 110개 언어 추가

세계적으로 수천만 명이 매일 사용하는 언어인데도 구글 번역에서 찾을 수 없어 답답했던 경험이 있을 것입니다. 대표적인 언어가 바로 광둥어였습니다.

구글이 6월 27일, 구글 번역에 역대 최대 규모인 110개 언어를 새로 추가했다고 발표했습니다. 이번 업데이트로 혜택을 받는 모국어 사용자는 전 세계 6억 1400만 명 이상으로, 세계 인구의 약 8%에 달합니다.

이 대규모 확장의 뒤에는 구글의 거대언어모델(LLM)인 PaLM 2가 있습니다.

가장 요청이 많았던 광둥어와 부활한 언어들

새로 추가된 언어 중 가장 눈에 띄는 것은 단연 광둥어입니다. 구글은 광둥어가 그동안 이용자들의 추가 요청이 가장 쇄도했던 언어 중 하나였다고 밝혔습니다.

추가가 늦어진 이유는 데이터 확보의 어려움 때문이었습니다. 광둥어는 문어체 표현에서 표준 중국어(만다린)와 겹치는 부분이 많아, 모델 학습을 위한 고유 데이터를 정제하고 훈련시키는 작업이 유독 까다로웠습니다.

수억 명이 쓰는 언어뿐만 아니라 소멸 위기에서 살아난 언어들도 대거 포함되었습니다.

영국 맨섬의 켈트계 언어인 맨어(Manx)가 대표적입니다. 1974년 마지막 원어민이 사망하면서 소멸 위기에 처했으나, 섬 전체의 부흥 운동 덕분에 수천 명의 사용자를 다시 확보하며 이번 번역 지원 목록에 올랐습니다.

지부티와 에리트레아 등에서 쓰이는 성조 언어인 아파르어는 자원봉사자 커뮤니티의 데이터 기여가 가장 많았던 언어로 꼽혔습니다. 이 밖에도 1949년에 고유 문자가 만들어진 서아프리카의 은코어, 파키스탄에서 가장 널리 쓰이는 샤무키 문자 기반 펀자브어 등이 포함되었습니다.

신규 지원 언어의 약 4분의 1은 아프리카 언어로, 폰어, 키콩고어, 루오어, 월로프어 등 구글 역사상 아프리카 대륙 언어를 가장 큰 폭으로 확충한 사례가 되었습니다.

대형 모델로 푼 저자원 언어의 한계

인터넷상에 데이터가 거의 없는 소수 언어를 기계 번역에 넣는 일은 기술적으로 매우 어렵습니다. 구글은 PaLM 2의 교차 언어 학습 능력을 활용해 이 문제를 해결했습니다.

모델이 서로 밀접한 언어들을 함께 묶어 학습하도록 만든 것입니다. 힌디어와 가까운 아와디어, 마르와리어를 학습하거나, 프랑스어 기반 크리올인 세이셸 크리올, 모리셔스 크리올을 처리할 때 이 방식이 주효했습니다.

방언이 다양해 표준 형태를 특정하기 어려운 집시 언어인 로마니어의 경우, 온라인에서 가장 흔히 쓰이는 남부 블락스 로마니어를 기본으로 삼되 북부 블락스와 발칸 로마니어 요소를 함께 반영하는 절충안을 택했습니다.

왜 중요한가

사용자 관점에서 이번 업데이트는 그동안 디지털 언어 장벽 뒤에 갇혀 있던 6억 명 이상의 인구와 즉각 소통할 수 있는 길을 열어줍니다. 광둥어권 비즈니스나 여행은 물론, 아프리카와 남아시아 신흥 시장을 타깃으로 하는 기업이나 구호 활동가들에게도 실질적인 도구가 생겼습니다.

우리는 구글이 대규모 언어모델의 강점을 아주 영리한 방식으로 증명해 보였다고 봅니다. 과거의 통계적 기계 번역은 사람이 일일이 대조한 대규모 병렬 말뭉치가 없으면 작동하지 않아 소수 언어 지원이 사실상 불가능했습니다. 구글은 PaLM 2의 지식 전이 능력을 빌려 데이터 수집 병목을 우회하는 데 성공했습니다.

이는 구글이 2022년에 선언한 '1,000개 언어 지원 계획'을 구체화하는 행보이기도 합니다. 당장 광고 수익이 나지 않는 언어라도, 다음 10억 명의 인터넷 사용자를 자사 생태계로 끌어들이는 강력한 인프라가 되기 때문입니다.

다만 한계도 명확합니다. 방언과 표기법이 제각각인 언어를 단일 모델로 통합하는 과정에서 지역 커뮤니티 간의 정통성 논란이 불거질 수 있습니다. 또한 친족 언어의 유추에 의존해 번역한 표현은 미묘한 뉘앙스를 틀리거나 그럴듯한 오역을 낼 위험이 있어, 계약서 같은 중요한 법적 문서에 쓰기에는 아직 무리가 있어 보입니다.