跳到正文
IFAI

开源项目

Meta 开源 MMS 语音模型:覆盖超 1100 种语言,可识别 4000 种口语

首次发布 传播指数 47

Meta 开源 Massively Multilingual Speech(MMS)系列模型与代码。它将语音识别和合成支持拓展到 1100 多种语言,并能识别 4000 多种口语。团队通过多语种圣经朗读音频解决了小语种数据匮乏的问题,希望以此减缓全球濒危语言的消亡。

Meta 开源 MMS 语音模型:覆盖超 1100 种语言,可识别 4000 种口语
图:about.fb.com

Meta 开源的 Massively Multilingual Speech(MMS)是一个超大规模的多语言语音模型系列,直接把语音技术的语言版图撑大了十倍。

现在的语音转文字(STT)和文字转语音(TTS)工具,顶多支持大约 100 种常见语言。MMS 直接把这个数字拉到了 1100 多种,而且还能识别超过 4000 种不同的口语。不管是做小语种音频识别、开发罕见语言的语音助手,还是给濒危语言做数字化归档,都可以直接用它。

它是怎么做到的

训练语音模型最缺的就是带标注的音频数据。现有的开源语音数据集覆盖 100 种语言基本就是上限了,剩下数千种语言根本找不到现成的配对语料。

Meta 团队找了一个非常聪明的切入点:宗教文本,尤其是《圣经》。这类文本很早就被翻译成了全球各种各样的小语种,并且有大量公开的人声朗读录音。

他们利用《新约圣经》的朗读音频,整理出了覆盖 1100 多种语言的数据集,平均每种语言大约有 32 小时的录音数据。

为了进一步把语言识别能力扩充到 4000 种以上,团队还纳入了其他未经标注的各类基督教读物音频。

很多人可能会担心两点:第一,宗教读物多由男性朗读,会不会导致模型对女性声音识别很差;第二,学了这么多圣经录音,会不会让生成的内容带有宗教偏见。

Meta 在分析后表示,模型在男性和女性声音上的表现基本一致,而且文本生成的实际输出也没有表现出宗教语言倾向。

它能做什么

MMS 不仅是一个单独的识别模型,而是一整套多语言语音技术组合。

它涵盖了文本到语音的生成、语音到文本的转写,以及高达 4000 多种口语的自动语言分类。

这套工具可以用在虚拟现实、增强现实设备里,也能集成到日常的即时通讯服务中,让说小众语言的用户也能直接用母语跟设备交互。

目前 Meta 已经把 MMS 的模型和相关代码完全开源,研究人员和开发者可以直接下载代码并基于权重进行二次开发。

团队也提到,现阶段 MMS 在面对细分方言时依然有挑战,未来还会继续扩大语言覆盖面,并解决复杂方言的识别问题。

为什么重要

如果你是做小语种本地化、跨境应用或者人类语言学数字化保护的开发者,MMS 几乎是目前市面上覆盖最广、最值得上手的开源底座。以前面对偏门小语种,从小样本数据冷启动语音模型几乎不可能,现在 MMS 至少给了一个能直接拿来微调的高起点。

从技术路径来看,Meta 靠公开的多语种圣经音频来补足数据短板,思路极其精巧,几乎零成本解决了小语种最昂贵的「找数据」难题。

不过也要看到限制,每种语言平均 32 小时的数据量,相比主流大语种动辄上万小时的训练集,精细度和泛化能力肯定还有差距,尤其是口音浓重或背景嘈杂时难免会掉点。但无论如何,能先把这上千种语言带入 AI 时代,本身就是巨大的突破。

来源 (1)

  1. [1]
    about.fb.com(在新标签页打开)原文about.fb.com

每日 AI 内容精选