哥伦比亚大学造出硅胶机器人脸:看 YouTube 学对口型,支持 11 种语言
哥伦比亚大学团队研发出一款带 26 个微型电机的硅胶机器人脸,通过看人类视频自主学会对口型,无需预设规则。它跨 11 种语言的表现超过 5 种现有方法,搭配 ChatGPT 能大幅减少传统人型机器人的僵硬与诡异感。
只要看过仿生机器人开口说话,你大概率被那种诡异的僵硬感劝退过。嘴唇机械地上下开合,发音和动作总是慢半拍,怎么看都像是一个套着硅胶皮的恐怖提线木偶。
哥伦比亚大学工程学院创意机器实验室拿出了一个全新解法。他们做了一张由 26 个微型电机驱动的柔性硅胶机器人脸,没有写一行复杂的运动控制代码,而是让它自己看 YouTube 视频学会了对口型。
先照镜子做鬼脸,再看视频学说话
传统的仿生机器人之所以动作僵硬,是因为工程师必须手动编写规则,规定发某个音时嘴角要拉动多少毫米。人脸肌肉极其细腻,靠硬编码根本还原不出来。
哥伦比亚大学团队的做法完全反其道而行之。第一步,他们把这具机器人脸放在镜子前,让它自主随机活动脸上的 26 个微型电机,整整做了几个小时的「鬼脸」。
在这个过程中,机器人摸清了自己这张硅胶脸的机械特性,搞懂了不同电机组合会扯出什么样的表情。
第二步,研究人员让它去大量观看人类说话和唱歌的 YouTube 视频。机器人通过所谓的「视觉到行动」语言模型,自主把听到的语音声音和人类的嘴唇动作对应起来。
整个过程完全摆脱了人为设定的规则。测试结果显示,这种纯靠自学的方法在表现上压过了 5 种现有的主流算法。
更让人意外的是泛化能力。虽然训练时没有喂针对特定语种的专属数据,它却直接在 11 种不同语言中顺畅完成了对口型。如果再把它和 ChatGPT 接在一起,机器人就能一边生成回答,一边自然地动嘴交流。
为什么重要
像汉森机器人旗下的「索菲亚」面世快十年了,整个行业在面部表达上几乎一直在原地打转,始终逃不开那股浓重的恐怖谷味。哥伦比亚大学这项研究的聪明之处,在于彻底放弃了人工调参的死磕路线。
我们认为,这项成果把机器人面部表情从「动画工程」变成了「具身模仿」。让硬件先照镜子理解自身物理限制,再靠视频自主学会动作,这种思路不仅省去了海量的人工标注成本,还展现出了惊人的多语言自适应能力。
对普通人和整个硬件生态来说,这意味着未来的陪伴机器人或服务型人型设备,终于有机会摆脱那种冷冰冰的机械感。当大语言模型的思考速度跟上之后,配上一张不再让人起鸡皮疙瘩的脸,人机交互的沉浸感会成倍增加。
不过,当机器人看起来越来越有「真情实感」,麻烦也随之而来。正如研究人员所担心的,一张过于逼真、情感欺骗性极强的机械面孔,未来在伦理界限和心理防线上究竟会把人类带向何方,依然是个悬而未决的问题。
来源 (1)
- engineering.columbia.edu(在新标签页打开)原文engineering.columbia.edu