FemRes持续生长的评论

数据女性主义 · 评论

人工智能与性别平等

摘要

联合国妇女署把AI输出中的性别偏见,与训练数据、技术参与和治理决策联系起来。

FemRes / 2024年6月28日
分享这项资源
X ↗Facebook ↗

01

文章解析

艺术家Beyza Doğuç让AI写一个医生和护士的故事,系统反复为角色分配符合性别刻板印象的身份。这个例子为联合国妇女署的解释性文章提供了入口:模型可能把熟悉的社会等级重新生产出来,同时让输出看起来只是对世界的普通描述。

从输出追问产生它的条件

文章把性别偏见和训练数据、技术领域的不平等参与、治理决策联系起来,也呈现研究者Sola Mahfouz对公平的疑问,以及参加编程项目的学生Natacha Sangwa的观察。这些材料的性质不同:个人经历不等于对所有模型的控制实验,参与者对健康工具的担忧,也不等于已经成立的临床结论。

女性主义阅读需要保留这个区别。问题不只是生成的角色被设定成男性还是女性,还包括谁被承认为专家,谁的经验进入数据,以及系统影响就业、信贷或服务获取时,谁能够提出异议。让某一次输出看起来更均衡,并没有回答全部问题。

谁能够改变系统?

增加女性参与,能够拓宽开发团队提出的问题,但人数上的代表性不能代替对部署、资源和补救措施的决定权。一个人可能已经进入技术行业,却无权叫停有害产品。同样,给数据集增加更多样本,也不会自动消除机构使用数据时的歧视。

文章对治理的关注,使这些层次得以连接。可以分别考察三项要求:检查系统产生什么结果,改变相关决定如何作出,以及让受到影响的人有办法获得补救。三者能够相互支持,却不能用其中一项的进展证明其余都已完成。

这篇文章适合作为理解AI政治的入口,而不是当下模型性能的排行榜。其中关于《全球数字契约》的讨论,处在2024年的谈判背景中。继续阅读时,可以选一个具体用途,追问谁定义可接受的错误,谁承担代价,以及当事人是否能够拒绝或申诉。

02

继续追踪这个议题

01
延伸阅读 / 2022年10月17日

Not My AI:质疑公共部门算法决策的女性主义框架

Joana Varon and Paz Peña

02
延伸阅读 / 2022年6月22日

拉美与加勒比女性的数字化参与

Iliana Vaca-Trigo; María Elena Valenzuela

03
延伸阅读 / 2021年11月23日

联合国教科文组织《人工智能伦理问题建议书》

UNESCO General Conference

读者回应

读者来信

回应这篇文章,或补充一条值得纳入讨论的资料。

加入讨论

回应

加载评论中...

支持我们

如果您觉得这些内容有价值,欢迎支持FemRes的持续运营。

支持 FemRes