哥倫比亞大學造出矽膠機器人臉:看 YouTube 學對口型,支援 11 種語言
哥倫比亞大學團隊研發出一款帶 26 個微型電機的矽膠機器人臉,通過看人類影片自主學會對口型,無需預設規則。它跨 11 種語言的表現超過 5 種現有方法,搭配 ChatGPT 能大幅減少傳統人型機器人的僵硬與詭異感。
只要看過仿生機器人開口說話,你大機率被那種詭異的僵硬感勸退過。嘴唇機械地上下開合,發音和動作總是慢半拍,怎麼看都像是一個套著矽膠皮的恐怖提線木偶。
哥倫比亞大學工程學院創意機器實驗室拿出了一個全新解法。他們做了一張由 26 個微型電機驅動的柔性矽膠機器人臉,沒有寫一行復雜的運動控制程式碼,而是讓它自己看 YouTube 影片學會了對口型。
先照鏡子做鬼臉,再看影片學說話
傳統的仿生機器人之所以動作僵硬,是因為工程師必須手動編寫規則,規定發某個音時嘴角要拉動多少毫米。人臉肌肉極其細膩,靠硬編碼根本還原不出來。
哥倫比亞大學團隊的做法完全反其道而行之。第一步,他們把這具機器人臉放在鏡子前,讓它自主隨機活動臉上的 26 個微型電機,整整做了幾個小時的「鬼臉」。
在這個過程中,機器人摸清了自己這張矽膠臉的機械特性,搞懂了不同電機組合會扯出什麼樣的表情。
第二步,研究人員讓它去大量觀看人類說話和唱歌的 YouTube 影片。機器人通過所謂的「視覺到行動」語言模型,自主把聽到的語音聲音和人類的嘴唇動作對應起來。
整個過程完全擺脫了人為設定的規則。測試結果顯示,這種純靠自學的方法在表現上壓過了 5 種現有的主流演算法。
更讓人意外的是泛化能力。雖然訓練時沒有喂針對特定語種的專屬資料,它卻直接在 11 種不同語言中順暢完成了對口型。如果再把它和 ChatGPT 接在一起,機器人就能一邊生成回答,一邊自然地動嘴交流。
為什麼重要
像漢森機器人旗下的「索菲亞」面世快十年了,整個行業在面部表達上幾乎一直在原地打轉,始終逃不開那股濃重的恐怖谷味。哥倫比亞大學這項研究的聰明之處,在於徹底放棄了人工調參的死磕路線。
我們認為,這項成果把機器人面部表情從「動畫工程」變成了「具身模仿」。讓硬體先照鏡子理解自身物理限制,再靠影片自主學會動作,這種思路不僅省去了海量的人工標註成本,還展現出了驚人的多語言自適應能力。
對普通人和整個硬體生態來說,這意味著未來的陪伴機器人或服務型人型裝置,終於有機會擺脫那種冷冰冰的機械感。當大語言模型的思考速度跟上之後,配上一張不再讓人起雞皮疙瘩的臉,人機互動的沉浸感會成倍增加。
不過,當機器人看起來越來越有「真情實感」,麻煩也隨之而來。正如研究人員所擔心的,一張過於逼真、情感欺騙性極強的機械面孔,未來在倫理界限和心理防線上究竟會把人類帶向何方,依然是個懸而未決的問題。
來源 (1)
- engineering.columbia.edu(在新分頁開啟)原文engineering.columbia.edu