數學殺傷性武器

Cathy O’Neil 的《數學毀滅性武器》解釋了當表面上客觀的模型變得不透明、大規模運作，並傷害它們所分類的人時，這些模型如何成為不平等的引擎。她借助教育、招聘、信貸、保險、工作排班、廣告和刑事司法的例子，展示了算法不僅僅是發現風險或價值。設計者選擇這些概念的代理指標，機構根據結果分數行動，而這些後果會產生似乎驗證原始模型的反饋。權力最少的人被用於這種實驗，而有聲望的機構和富有的決策者往往免於承受類似的審查。

這本書對女性主義技術批評至關重要，因為數據系統繼承了社會上脆弱性的分佈。一個模型可能沒有將性別或種族作為明確變數，但仍可能通過收入、住址、工作歷史、照護中斷、殘障、與警方接觸或取得傳統資格來重現這些特徵。歐尼爾的論述有助於解釋為什麼形式上的中立性無法帶來實質平等，以及為什麼個人訴求無法修復那些在設計時缺乏透明度或互惠問責制度的系統。她令人印象深刻的“數學毀滅武器”分類，為讀者提供了一個實用的診斷工具：問問誰可以檢查模型、誰承擔錯誤、結果是否被審核，以及機構是否能從傷害中學習。

作為一項廣泛的公共干預，這本書集中於美國的制度，並未充分發展黑人女性主義、障礙正義、跨性別研究、勞工組織和去殖民化數據實踐對自動化權力所帶來的獨特分析。其案例也早於目前生成式人工智慧和平台治理的浪潮。這些限制使它成為一個起點，而非完整的理論。它持久的價值在於用涉及所有權、同意、證據和補救的政治問題來取代對數學複雜性的敬畏——並堅持認為，任何影響人們生活的模型都必須以它所助長的不平等世界來評判。

把書中的案例分開看，模型造成傷害的路徑會更清楚：教師增值評估將學生成績轉化為教師能力分數，卻可能把不穩定的背景因素歸咎於個人；信貸與保險評分把代理指標變成服務門檻或價格；預測式警務可能對已受密集監控的社區投入更多警力，形成更多紀錄，再把這些紀錄當成持續監控的理由。歐尼爾也談到營利大學如何用定向廣告接觸處境脆弱的人。案例各不相同，但都值得追問：模型測量什麼、當事人能否申訴、錯誤的代價由誰承擔？

模型不能只因為它能預測所屬機構已記錄的結果，就被視為可靠或公平：舊資料可能承載著警務接觸、就業障礙與信貸機會本身的不平等。若只優化對既有紀錄的吻合度，舊有界線可能只是運作得更有效率。由此延伸出的問責要求包括：告知當事人評分正在被使用、提供足以提出異議的說明、設置可及的申訴管道、允許獨立稽核，並讓具體決策者持續承擔責任。這些是 FemRes 從案例延伸出的治理問題，並非聲稱歐尼爾提出了一套完整技術解方。

資料來源。 版本與全書論點參照 Penguin Random House及作者的官方網站；教師評估、信貸、保險、定向廣告及警務回饋案例另參 TIME 對 Cathy O’Neil 的訪談。可與《你的電腦著火了》及《程式化不平等》對讀，延伸至基礎設施與勞動史。