数据女性主义 · 研究
性别阴影:商业性别分类系统中的交叉性准确性差异
Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification
Buolamwini 与 Gebru 通过分组评测揭示商业性别分类的误差差异,追问整体准确率掩盖了谁,也保留分类本身的局限。
摘要
Buolamwini 与 Gebru 通过分组评测揭示商业性别分类的误差差异,追问整体准确率掩盖了谁,也保留分类本身的局限。
研究导读
Joy Buolamwini 与 Timnit Gebru 的2018年论文追问:一个看起来很高的整体准确率,会不会掩盖集中落在特定群体身上的错误?研究评测的是商业系统根据面部图像进行的性别分类,并非确认一个人的身份,也不是测量所有人脸识别应用。分清任务,才能既看见不平等的误差,又不把一次基准测试扩写成对所有监控技术的判断。
先让测试有机会看见差异
研究者检查了 IJB-A 和 Adience 的构成,并建立试点议会基准数据集(PPB):其中包含来自六个非洲及欧洲国家的1,270位议员。议员肖像的身份可确认,照片条件也相对受控。这种选择改善了评测中的群体分布,却不意味着样本代表全世界人口、拍摄条件或社会情境。
原文第3.4—3.5节及表3将 Fitzpatrick I—III型归为较浅肤色、IV—VI型归为较深肤色,再与被感知为女性、男性的标签交叉比较。这些标签对应商业系统的二元输出;作者明确指出,它们无法充分容纳性别的复杂性和跨性别身份。皮肤科医生参与肤色标注,也不等于性别成为能够从脸上读出的生物事实。
平均值并不平均分配可靠性
评测涉及微软、IBM 和 Face++ 的分类器。在被测系统中,较深肤色女性组的错误率均最高,范围为20.8%至34.7%;较浅肤色男性组的最高错误率为0.8%。这些数值对应这项研究中的特定系统、版本、图像与分组,不是今天所有 AI 的错误率。只分别报告女性或深肤色人群的总体表现,仍可能藏起两种分类交织后的差异。
论文的女性主义贡献因此不只是几个醒目的数字。它改变了评估问题:谁消失在平均值里,谁的脸被当成正常表现的标准,哪些失败被容忍为无关紧要的例外?分组评测让“普遍可靠”的说法成为可以检验的主张。它也说明,扩大资料集本身并不够,还要看人们怎样被分布、标注和测试。
更准确,不等于更有理由分类
基准本身也有边界。正式肖像比街头等环境中的照片更受控;依据图像估计肤色存在不确定性。把六类肤色合成两组,方便比较,也压缩了组内差异。这些限制没有取消观察到的不平等,却阻止我们把实验分类当成身体或社会身份的完整解释。
进一步的问题是:即使分类器变得更准确,当事人如果不能拒绝分类、也无法质疑用途,部署它是否合理?论文的证据无法单独替任何机构回答这一政治问题。2018年论文也不能自行证明后来企业限制警用销售的日期与原因;研究发现、公共倡议和公司决定需要分别核对证据。
可与Buolamwini 的公开演讲并读,从个人遭遇进入问题;再读《数据女性主义》,拓展权力、情境与劳动的分析。《设计正义》进一步追问谁能改变系统本身。两条问题应同时保留:错误落在谁身上,又是谁有权决定必须对人进行这种分类?
换种形式继续
沿着期刊阅读
读者回应
研究讨论
回应这项研究,或补充一篇值得共同阅读的论文。
加入讨论
加载评论中...
支持我们
如果您觉得这些内容有价值,欢迎支持FemRes的持续运营。