数学杀伤性武器

Cathy O’Neil 的《数学毁灭性武器》解释了，当表面上客观的模型不透明、按规模运作并损害被分类的人时，它们如何成为不平等的引擎。通过教育、招聘、信用、保险、工作安排、广告和刑事司法的例子，她展示了算法不仅仅是在发现风险或能力。设计者为这些概念选择代理指标，机构根据生成的分数采取行动，而后果产生的反馈似乎证实了最初的模型。权力最小的人会受到这种实验的影响，而声望高的机构和富有的决策者通常会免于类似的审查。

这本书对女性主义技术批评至关重要，因为数据系统继承了社会脆弱性分布的模式。一个模型可能没有将性别或种族作为明确的变量，但仍可能通过收入、地址、工作经历、照护中断、残疾、与警方接触，或获取常规资质等方式再现这些差异。奥尼尔的论述有助于解释为何形式上的中立并不能产生实质平等，以及为何个人申诉无法修复那些缺乏透明度或相互问责设计的系统。她提出的“数学毁灭武器”这一令人印象深刻的类别，为读者提供了一个实用的诊断方案：问问谁可以检查模型、谁承担其错误、结果是否经过审查、以及机构是否能从伤害中学习。

作为一项广泛的公共干预，这本书集中讨论美国的制度，并没有充分展开黑人女性主义、残疾正义、跨性别研究、劳动组织和去殖民数据实践对自动化权力带来的独特分析。它所涉及的案例也发生在当前生成式人工智能和平台治理浪潮之前。这些限制使其成为一个起点，而不是完整的理论。它的持久价值在于用关于所有权、同意、证据和补救的政治问题取代对数学复杂性的敬畏——并坚持认为，一个影响人们生活的模型必须根据它所助长的不平等世界来进行评判。

把书中的案例分开看，模型造成伤害的路径会更清楚：教师增值评估把学生考试表现转化为教师能力分数，却可能把不稳定的背景因素算到个人头上；信贷与保险模型把代理指标变成获得服务的门槛或价格；预测警务则可能把既有执法记录当作风险证据，令被重点监控的社区产生更多记录，再被模型当成继续加码的理由。奥尼尔也讨论营利大学如何利用定向广告接触处境脆弱的人群。这些场景并不相同，却都要求追问：测量了什么、当事人能否申诉、错误的代价由谁承担？

从这个角度看，不能只因为模型能预测它所属机构已经记录的结果，就把它视为可靠或公平：旧数据可能承载了警务暴露、就业障碍和信贷机会本身的不平等。只优化对既有记录的拟合，可能让旧边界运作得更高效。由此延伸出的问责要求包括：告知当事人评分的存在、提供可用于申诉的解释、设置可及的复核途径、允许独立审计，并让具体决策者继续承担责任。这些是 FemRes 根据案例提出的治理问题，不是声称奥尼尔已经给出一套完整技术解法。

资料来源。 版本信息与全书论点参照 Penguin Random House和作者的官方网站；教师评估、信贷、保险、定向广告及警务反馈案例另参 TIME 对 Cathy O’Neil 的访谈。与《你的电脑着火了》及《程序化不平等》对读，可分别延伸至基础设施与劳动史。