跳到正文
IFAI

AI科研

韓國團隊研發 7 枚智慧指環:即時翻譯手語,準確率超 88%

首次發布 傳播指數 31

韓國研究團隊開發出一套由 7 枚無線智慧指環構成的系統,可將美式與國際手語即時翻譯成文本。指環內建加速度計並通過藍牙傳輸,配合 AI 自動補全來跟上手語語速,新手實測準確率超 88%。不過系統目前還無法捕捉面部表情等關鍵非手勢資訊。

韓國團隊研發 7 枚智慧指環:即時翻譯手語,準確率超 88%
圖:singularityhub.com

想讓不懂手語的人聽懂手語,過去最常見的方案要麼是拿攝像頭對著人拍,要麼是讓人戴上一雙纏滿電線、像笨重滑雪手套一樣的裝置。

前者一換到光線差或背景亂的真實環境就容易抓瞎,後者則讓人根本伸不開手指,日常戴出門簡直像在受刑。

韓國的一個研究團隊最近拿出了一種輕巧得多的解法。他們做了 7 枚無線智慧戒指,戴在手上就像幾片半透明的創可貼,能把美式手語和國際手語即時翻譯成文字。

7 枚創可貼一樣的戒指

這套戒指並沒有把十根手指都套滿,而是挑出了打手語時最關鍵的 7 根手指。右手小指、左手中指和左手拇指直接被空了出來。

每枚戒指都戴在手指第二關節下方,採用有彈性的材料製作,不同粗細的手指都能套進去,不會因為手型大小導致感測器錯位。

裝置裡塞進了微型加速度計、超薄藍牙發射器和電源管理晶片,靠一枚可更換的紐扣電池能撐將近 12 個小時。由於用的都是常見穿戴裝置裡的成熟感測器,整體硬體成本並不高。

在打手語時,戒指會捕捉手指的彎曲、捲曲或靜止動作,把資料同步發給主機裝置。團隊用美式手語和國際手語裡的 100 個常用詞做了測試,就算是從沒用過這套裝置的新手,識別準確率也能超過 88%。

像輸入法一樣猜你想說什麼

手語熟練的人,一分鐘能打出 100 到 150 個手勢,節奏和正常人說話差不多快。如果機器每做完一個動作才慢半拍去翻譯,對話就會卡得讓人難受。

為了跟上這種語速,團隊給系統加了一套 AI 自動補全機制。它的邏輯和手機打字時的聯想詞一樣,能根據前面已經打出的手勢,預測接下來的整句話。

比如測到幾個關鍵詞後,系統就能順暢補全像「家庭想要漂亮的動物」這樣的短句。除了靜止的手勢,像「跳舞」「飛翔」這種帶動態軌跡的動作,它也能抓得住。

團隊認為,隨著手勢動作資料的積累,這套系統未來甚至有可能扮演不同手語之間的即時翻譯器。

為什麼重要

手語翻譯裝置做了這麼多年,一直很難真正普及。這套戒指最聰明的地方,在於它放棄了追求感測器滿配的執念,做了一次非常務實的減法。

它不測肌肉電訊號,省去了每個人都要花幾個小時重新校準的麻煩;它只抓 7 根手指,把硬體做成了輕薄、透氣的指套。對於有日常溝通需求的聽障人士來說,這可能是目前看起來最接近能真正戴著出門買杯咖啡的裝置。

但我們認為,它的隱患也同樣明顯。手語是一門多模態語言,手指動向只佔一部分,挑眉、抿嘴、聳肩和動作停頓往往決定了句子的語氣甚至完全相反的含義。只靠手指加速度,系統在面對複雜表達時很容易會錯意,這也是為什麼業內有些團隊又調頭回去做輕量級視覺方案的原因。

它現在能識別 100 個詞,離日常流暢溝通還有不小距離。不過這套思路如果拿去給 AR 眼鏡做隔空微手勢互動,或者用來做手指康復動作監測,看起來反倒能更快落地變現。

來源 (1)

  1. [1]
    singularityhub.com(在新分頁開啟)原文singularityhub.com

每日 AI 內容精選