Sony AI 在《自然》发布 FHIBE:用超万张合规人像测出视觉 AI 偏见
本周,Sony AI 团队在《自然》发表公平人像基准数据集 FHIBE,包含来自 81 个国家和地区、1981 人的 10318 张合规人像。数据集包含自主报告的年龄、人称代词、血统及肤色等标注,比 27 个现有数据集提供了更高的多样性与合规标准,用于帮人脸识别等视觉模型排查偏见。

AI 识别行人或者做人脸比对时,经常会暴露出让人尴尬甚至危险的偏见。追根溯源,很多视觉模型的底子就是当年工程师从网上随便爬下来的海量照片,连被拍的人知不知情都很难说,更别提标注是否准确了。
为了解决这个积弊,Sony AI 团队本周在《Nature》上公开了一套全新的基准数据集,名字叫 FHIBE,也就是公平以人为本图像基准。
10,000 张真正知情同意的人像
这套数据集由 Sony AI 的 Alice Xiang 及其团队主导构建,主要用来评估人脸识别、自动驾驶等各类以人为中心的计算机视觉模型是否存在偏见与刻板印象。
FHIBE 一共收录了来自全球 81 个不同国家或地区的 1981 位参与者,总计 10318 张图像。
和过去那些靠爬虫在全网乱抓图片的做法不同,这套数据集完全建立在知情同意的基础上。所有参与者在拍摄前都清楚了解了项目细节和潜在风险,整体流程符合严苛的数据保护法规。
让被拍的人自己定义自己
除了知情同意,FHIBE 另一个很有意思的突破在于标注方式。很多旧数据集里的种族或性别全是外包标注员凭主观感觉猜出来的,而 FHIBE 收集的是参与者本人的自主申报数据。
这些细致的属性涵盖了年龄、代词类别、血统背景,以及肤色和发色等生理特征。
研究团队拿 FHIBE 和现有 27 个主流的计算机视觉数据集做了横向对比。结果显示,FHIBE 在样本多样性、知情同意规范以及偏见缓解能力上,都立下了更高的标准,而且在以往数据集中经常被忽视的欠代表人群,在这里占了相当可观的比例。
作者坦言,用这种合规又尊重人的方式去搜集数据,过程不仅非常艰难,成本也极其昂贵。但只有这样,才能测出很多现有模型以前根本发现不了的偏见盲区。
为什么重要
我们认为,Sony AI 这一步走得相当清醒,可以说是给整个行业打了个样。
现在很多做视觉算法的团队,最头疼的就是怎么给自家的模型做公平性体检。如果拿来测偏见的标尺本身就不干净、不全面,测出来的结果自然也是自欺欺人。FHIBE 为开发者和研究者提供了一把真正干净且合规的尺子,尤其是做安防、自动驾驶或消费级相机的团队,现在完全值得拿它来重新跑一遍自家的模型。
对行业来说,它也倒逼了大厂们正视数据合规的现实。靠偷摸爬图训练模型的草莽时代正在加速结束,全球数据监管越来越严,谁还敢在涉及人像的核心系统里用灰色数据,谁就得承担巨大的合规风险。
不过在看起来美好的同时,隐患也在于它的门槛。作者自己都承认做这件事又贵又费劲,这意味着除了少数财力雄厚的研究院所或巨头,中小团队很难靠自己的力量去复制一套类似的合规数据集。这套标准最终是会推动开源生态共同变好,还是把合规评测变成大厂的特权游戏,还得看后续这套基准的具体开放与使用门槛。
来源 (1)
- techxplore.com(在新标签页打开)原文techxplore.com