数学破壊兵器

キャシー・オニールの『Weapons of Math Destruction』は、表面的には客観的に見えるモデルが、非透明で、大規模に運用され、分類された人々に損害を与えるとき、どのように不平等の原動力になるかを説明している。教育、採用、信用、保険、職場のスケジュール、広告、刑事司法の事例を例に挙げながら、彼女はアルゴリズムが単にリスクや能力を発見するだけではないことを示している。設計者はそれらの概念の代理となる指標を選び、機関はその結果得られたスコアに基づいて行動し、その結果として生じる影響が元のモデルを裏付けるように見えるフィードバックを生み出す。最も権力のない人々がこの実験の対象となる一方で、名門の機関や裕福な意思決定者はしばしば同様の精査から保護されている。

この本は、データシステムが脆弱性の社会的分布を引き継ぐため、フェミニスト技術批評にとって不可欠である。モデルは性別や人種を明示的な変数として省略するかもしれないが、収入、住所、雇用履歴、介護による中断、障害、警察との接触、または従来の資格へのアクセスを通じてそれらを再現することがある。オニールの説明は、形式的な中立性がなぜ実質的な平等を生み出さないのか、またなぜ個人の訴えでは透明性や相互責任なしに設計されたシステムを修復できないのかを理解する助けとなる。彼女の記憶に残る「Weapons of Math Destruction」というカテゴリーは読者に実践的な診断手段を提供する：モデルを誰が検査できるのか、その誤りは誰が負うのか、結果は監査されているのか、そしてその組織は被害から学んでいるのかを問いかけるのである。

幅広い公共介入として、この本はアメリカ合衆国の制度に焦点を当てており、ブラック・フェミニズム、障害正義、トランス研究、労働組織、脱植民地データ実践が自動化された権力にもたらす独自の分析を十分に展開してはいない。また、取り上げられている事例は、現在の生成AIやプラットフォームガバナンスの波よりも前のものである。これらの制約により、この本は完全な理論というよりも出発点として位置づけられる。FemResにとって、この本の持続的な価値は、数学的複雑さに驚嘆する代わりに、所有権、同意、証拠、救済に関する政治的な問いを提起すること、そして人々の生活に影響を与えるモデルは、それが助長する不平等な世界によって評価されるべきであることを主張するところにある。