数学杀伤性武器

Cathy O’Neil 的《数学毁灭性武器》解释了，当表面上客观的模型不透明、按规模运作并损害被分类的人时，它们如何成为不平等的引擎。通过教育、招聘、信用、保险、工作安排、广告和刑事司法的例子，她展示了算法不仅仅是在发现风险或能力。设计者为这些概念选择代理指标，机构根据生成的分数采取行动，而后果产生的反馈似乎证实了最初的模型。权力最小的人会受到这种实验的影响，而声望高的机构和富有的决策者通常会免于类似的审查。

这本书对女性主义技术批评至关重要，因为数据系统继承了社会脆弱性分布的模式。一个模型可能没有将性别或种族作为明确的变量，但仍可能通过收入、地址、工作经历、照护中断、残疾、与警方接触，或获取常规资质等方式再现这些差异。奥尼尔的论述有助于解释为何形式上的中立并不能产生实质平等，以及为何个人申诉无法修复那些缺乏透明度或相互问责设计的系统。她提出的“数学毁灭武器”这一令人印象深刻的类别，为读者提供了一个实用的诊断方案：问问谁可以检查模型、谁承担其错误、结果是否经过审查、以及机构是否能从伤害中学习。

作为一项广泛的公共干预，这本书集中讨论美国的制度，并没有充分展开黑人女性主义、残疾正义、跨性别研究、劳动组织和去殖民数据实践对自动化权力带来的独特分析。它所涉及的案例也发生在当前生成式人工智能和平台治理浪潮之前。这些限制使其成为一个起点，而不是完整的理论。对于 FemRes来说，它的持久价值在于用关于所有权、同意、证据和补救的政治问题取代对数学复杂性的敬畏——并坚持认为，一个影响人们生活的模型必须根据它所助长的不平等世界来进行评判。