数据女性主义 · 评论
人工智能与性别平等
联合国妇女署把AI输出中的性别偏见,与训练数据、技术参与和治理决策联系起来。
文章解析
艺术家Beyza Doğuç让AI写一个医生和护士的故事,系统反复为角色分配符合性别刻板印象的身份。这个例子为联合国妇女署的解释性文章提供了入口:模型可能把熟悉的社会等级重新生产出来,同时让输出看起来只是对世界的普通描述。
从输出追问产生它的条件
文章把性别偏见和训练数据、技术领域的不平等参与、治理决策联系起来,也呈现研究者Sola Mahfouz对公平的疑问,以及参加编程项目的学生Natacha Sangwa的观察。这些材料的性质不同:个人经历不等于对所有模型的控制实验,参与者对健康工具的担忧,也不等于已经成立的临床结论。
女性主义阅读需要保留这个区别。问题不只是生成的角色被设定成男性还是女性,还包括谁被承认为专家,谁的经验进入数据,以及系统影响就业、信贷或服务获取时,谁能够提出异议。让某一次输出看起来更均衡,并没有回答全部问题。
谁能够改变系统?
增加女性参与,能够拓宽开发团队提出的问题,但人数上的代表性不能代替对部署、资源和补救措施的决定权。一个人可能已经进入技术行业,却无权叫停有害产品。同样,给数据集增加更多样本,也不会自动消除机构使用数据时的歧视。
文章对治理的关注,使这些层次得以连接。可以分别考察三项要求:检查系统产生什么结果,改变相关决定如何作出,以及让受到影响的人有办法获得补救。三者能够相互支持,却不能用其中一项的进展证明其余都已完成。
这篇文章适合作为理解AI政治的入口,而不是当下模型性能的排行榜。其中关于《全球数字契约》的讨论,处在2024年的谈判背景中。继续阅读时,可以选一个具体用途,追问谁定义可接受的错误,谁承担代价,以及当事人是否能够拒绝或申诉。
换种形式继续
- 书籍
技术上错误
Sara Wachter-Boettcher
Sara Wachter-Boettcher 分析表单、产品文案、默认设置和技术公司文化如何把性别、种族和身体差异排除在“正常用户”之外。她指出产品团队不断设想一个无摩擦的“普通用户”,并将其编码进默认值与数据字段,使设计成为决定谁被预见、谁必须申请例外的静默系统。
数字女性主义 · 性别歧视 - 论文
性别阴影:商业性别分类系统中的交叉性准确性差异
Joy Buolamwini; Timnit Gebru
Buolamwini 与 Gebru 通过分组评测揭示商业性别分类的误差差异,追问整体准确率掩盖了谁,也保留分类本身的局限。
数据女性主义 · 数字女性主义
沿着期刊阅读
读者回应
读者来信
回应这篇文章,或补充一条值得纳入讨论的资料。
加入讨论
加载评论中...
支持我们
如果您觉得这些内容有价值,欢迎支持FemRes的持续运营。