跳到正文
IFAI

AI科研

韩国团队研发 7 枚智能指环:实时翻译手语,准确率超 88%

首次发布 传播指数 31

韩国研究团队开发出一套由 7 枚无线智能指环构成的系统,可将美式与国际手语实时翻译成文本。指环内置加速度计并通过蓝牙传输,配合 AI 自动补全来跟上手语语速,新手实测准确率超 88%。不过系统目前还无法捕捉面部表情等关键非手势信息。

韩国团队研发 7 枚智能指环:实时翻译手语,准确率超 88%
图:singularityhub.com

想让不懂手语的人听懂手语,过去最常见的方案要么是拿摄像头对着人拍,要么是让人戴上一双缠满电线、像笨重滑雪手套一样的装置。

前者一换到光线差或背景乱的真实环境就容易抓瞎,后者则让人根本伸不开手指,日常戴出门简直像在受刑。

韩国的一个研究团队最近拿出了一种轻巧得多的解法。他们做了 7 枚无线智能戒指,戴在手上就像几片半透明的创可贴,能把美式手语和国际手语实时翻译成文字。

7 枚创可贴一样的戒指

这套戒指并没有把十根手指都套满,而是挑出了打手语时最关键的 7 根手指。右手小指、左手中指和左手拇指直接被空了出来。

每枚戒指都戴在手指第二关节下方,采用有弹性的材料制作,不同粗细的手指都能套进去,不会因为手型大小导致传感器错位。

设备里塞进了微型加速度计、超薄蓝牙发射器和电源管理芯片,靠一枚可更换的纽扣电池能撑将近 12 个小时。由于用的都是常见穿戴设备里的成熟传感器,整体硬件成本并不高。

在打手语时,戒指会捕捉手指的弯曲、卷曲或静止动作,把数据同步发给主机设备。团队用美式手语和国际手语里的 100 个常用词做了测试,就算是从没用过这套设备的新手,识别准确率也能超过 88%。

像输入法一样猜你想说什么

手语熟练的人,一分钟能打出 100 到 150 个手势,节奏和正常人说话差不多快。如果机器每做完一个动作才慢半拍去翻译,对话就会卡得让人难受。

为了跟上这种语速,团队给系统加了一套 AI 自动补全机制。它的逻辑和手机打字时的联想词一样,能根据前面已经打出的手势,预测接下来的整句话。

比如测到几个关键词后,系统就能顺畅补全像「家庭想要漂亮的动物」这样的短句。除了静止的手势,像「跳舞」「飞翔」这种带动态轨迹的动作,它也能抓得住。

团队认为,随着手势动作数据的积累,这套系统未来甚至有可能扮演不同手语之间的实时翻译器。

为什么重要

手语翻译设备做了这么多年,一直很难真正普及。这套戒指最聪明的地方,在于它放弃了追求传感器满配的执念,做了一次非常务实的减法。

它不测肌肉电信号,省去了每个人都要花几个小时重新校准的麻烦;它只抓 7 根手指,把硬件做成了轻薄、透气的指套。对于有日常沟通需求的听障人士来说,这可能是目前看起来最接近能真正戴着出门买杯咖啡的设备。

但我们认为,它的隐患也同样明显。手语是一门多模态语言,手指动向只占一部分,挑眉、抿嘴、耸肩和动作停顿往往决定了句子的语气甚至完全相反的含义。只靠手指加速度,系统在面对复杂表达时很容易会错意,这也是为什么业内有些团队又调头回去做轻量级视觉方案的原因。

它现在能识别 100 个词,离日常流畅沟通还有不小距离。不过这套思路如果拿去给 AR 眼镜做隔空微手势交互,或者用来做手指康复动作监测,看起来反倒能更快落地变现。

来源 (1)

  1. [1]
    singularityhub.com(在新标签页打开)原文singularityhub.com

每日 AI 内容精选