跳到正文
IFAI

大模型

Orange 联手 OpenAI 与 Meta:训练大模型支持西非本土语言

首次发布 传播指数 53

周二,Orange 宣布联手 OpenAI 与 Meta 微调大模型,首期重点攻克西非的沃洛夫语和普拉尔语。三方将训练 Whisper 和 Llama 3.1,成果拟免费开放非商业用途,用于当地公共卫生与教育,让不会读写的群体也能用母语与 AI 交流。

Orange 联手 OpenAI 与 Meta:训练大模型支持西非本土语言
图:developingtelecoms.com

现在随便挑一个主流大模型聊天,它能顺畅地跟你聊英语、中文甚至小语种代码,但全球还有成千上万种语言,大模型其实根本连一个字都听不懂。

电信巨头 Orange 在周二宣布,联手 OpenAI 和 Meta,准备给大模型补上非洲本土语言这一课。

这次合作要微调的,是目前所有主流生成式 AI 几乎都没碰过的非洲区域语言。

拿 Whisper 和 Llama 3.1 补课

项目的第一步,先盯上了西非的两种重要语言。

一种是沃洛夫语(Wolof),使用人口大约有 1600 万人;另一种是普拉尔语(Pulaar),也有差不多 600 万人在说。

这次分工非常具体。OpenAI 拿出了自己的 Whisper 语音模型,Meta 则出了开源的 Llama 3.1 文本模型。

Orange 会用收集到的丰富语料样本,去微调这两个模型,教它们听懂、看懂这两种语言。

Orange 自己的算盘很清晰:先用在自家的客服和销售业务上,让西非当地的用户可以直接用母语办业务。

不过这件事没停在商业自用上。Orange 明确表示,微调后的模型会开放免费许可,给公共卫生、公共教育等非商业机构开源使用。

他们还打算拉上当地的创业团队和科技公司,一起在这些语言上跑出新的 AI 应用。

按照 Orange 的长期构想,他们要联合更多技术厂商,最终把非洲 18 个业务国家里的所有语言全扫一遍。

另外,Orange 还单独和 OpenAI 签了一份协议,不仅能抢先用上 OpenAI 最新的模型,数据还会首次完全留在欧洲本地的数据中心托管和处理,语音交互也是重头戏。

为什么重要

大模型训练到现在,英语互联网的数据快被扒光了,但真正需要数字技术兜底的偏远地区,却长期处在 AI 的盲区里。

这次合作最巧妙的地方,在于选了语音切入。在很多欠发达地区,文盲率往往偏高,纯文本模型根本用不起来。让 Whisper 听懂本土语言,等于直接打破了识字的门槛,普通人靠一张嘴就能获取公共医疗或农业指导。

对于当地的独立开发者和初创团队来说,这也是个难得的机会。以往谁也没算力和数据去训本土语言底座,现在有免费开源的模型拿来即用,低成本做本地化服务的门槛被拉低了一大截。

我们认为,Orange 这次走得非常精明。它既解决了欧洲电信商对数据主权的顾虑,又以基础设施提供者的身份,卡住了非洲新兴市场的 AI 生态入口。

不过隐患也明摆着。普拉尔语这类小语种的高质量数字化语料极度匮乏,靠有限样本微调出来的模型,幻觉和准确率能不能顶得住客服和医疗场景,还得打个问号。但无论如何,硅谷大厂把注意力转向真正的「数字荒漠」,这步棋走得扎实且有用。

来源 (2)

  1. [1]
    bloomberg.com(在新标签页打开)原文bloomberg.com
  2. [2]

每日 AI 内容精选