數學殺傷性武器

Cathy O’Neil 的《數學毀滅性武器》解釋了當表面上客觀的模型變得不透明、大規模運作，並傷害它們所分類的人時，這些模型如何成為不平等的引擎。她借助教育、招聘、信貸、保險、工作排班、廣告和刑事司法的例子，展示了算法不僅僅是發現風險或價值。設計者選擇這些概念的代理指標，機構根據結果分數行動，而這些後果會產生似乎驗證原始模型的反饋。權力最少的人被用於這種實驗，而有聲望的機構和富有的決策者往往免於承受類似的審查。

這本書對女性主義技術批評至關重要，因為數據系統繼承了社會上脆弱性的分佈。一個模型可能沒有將性別或種族作為明確變數，但仍可能通過收入、住址、工作歷史、照護中斷、殘障、與警方接觸或取得傳統資格來重現這些特徵。歐尼爾的論述有助於解釋為什麼形式上的中立性無法帶來實質平等，以及為什麼個人訴求無法修復那些在設計時缺乏透明度或互惠問責制度的系統。她令人印象深刻的“數學毀滅武器”分類，為讀者提供了一個實用的診斷工具：問問誰可以檢查模型、誰承擔錯誤、結果是否被審核，以及機構是否能從傷害中學習。

作為一項廣泛的公共干預，這本書集中於美國的制度，並未充分發展黑人女性主義、障礙正義、跨性別研究、勞工組織和去殖民化數據實踐對自動化權力所帶來的獨特分析。其案例也早於目前生成式人工智慧和平台治理的浪潮。這些限制使它成為一個起點，而非完整的理論。對於FemRes而言，它持久的價值在於用涉及所有權、同意、證據和補救的政治問題來取代對數學複雜性的敬畏——並堅持認為，任何影響人們生活的模型都必須以它所助長的不平等世界來評判。