数学破壊兵器

キャシー・オニールの『Weapons of Math Destruction』は、表面的には客観的に見えるモデルが、非透明で、大規模に運用され、分類された人々に損害を与えるとき、どのように不平等の原動力になるかを説明している。教育、採用、信用、保険、職場のスケジュール、広告、刑事司法の事例を例に挙げながら、彼女はアルゴリズムが単にリスクや能力を発見するだけではないことを示している。設計者はそれらの概念の代理となる指標を選び、機関はその結果得られたスコアに基づいて行動し、その結果として生じる影響が元のモデルを裏付けるように見えるフィードバックを生み出す。最も権力のない人々がこの実験の対象となる一方で、名門の機関や裕福な意思決定者はしばしば同様の精査から保護されている。

この本は、データシステムが脆弱性の社会的分布を引き継ぐため、フェミニスト技術批評にとって不可欠である。モデルは性別や人種を明示的な変数として省略するかもしれないが、収入、住所、雇用履歴、介護による中断、障害、警察との接触、または従来の資格へのアクセスを通じてそれらを再現することがある。オニールの説明は、形式的な中立性がなぜ実質的な平等を生み出さないのか、またなぜ個人の訴えでは透明性や相互責任なしに設計されたシステムを修復できないのかを理解する助けとなる。彼女の記憶に残る「Weapons of Math Destruction」というカテゴリーは読者に実践的な診断手段を提供する：モデルを誰が検査できるのか、その誤りは誰が負うのか、結果は監査されているのか、そしてその組織は被害から学んでいるのかを問いかけるのである。

幅広い公共介入として、この本はアメリカ合衆国の制度に焦点を当てており、ブラック・フェミニズム、障害正義、トランス研究、労働組織、脱植民地データ実践が自動化された権力にもたらす独自の分析を十分に展開してはいない。また、取り上げられている事例は、現在の生成AIやプラットフォームガバナンスの波よりも前のものである。これらの制約により、この本は完全な理論というよりも出発点として位置づけられる。この本の持続的な価値は、数学的複雑さに驚嘆する代わりに、所有権、同意、証拠、救済に関する政治的な問いを提起すること、そして人々の生活に影響を与えるモデルは、それが助長する不平等な世界によって評価されるべきであることを主張するところにある。

事例をひとまとめに「アルゴリズムの偏り」と呼ばずに見ると、害の仕組みが具体的になる。教師の付加価値評価は試験結果を教師の能力の尺度に変えるが、不安定な背景要因まで個人の責任にしてしまうことがある。信用や保険のスコアは代理指標を利用可否や価格に結びつけ、予測型の警察活動は、すでに監視が集中する地域にさらに警察を配置し、その記録を次の配置の根拠にする循環を生みうる。オニールのインタビューは、営利大学がターゲティング広告で経済的に不安定な人々に接触する例も扱う。測定対象は何か、異議を申し立てられるか、誤判定の負担を誰が負うのか——各制度についてこの問いを立てたい。

モデルが機関の記録済みの結果を予測できるからといって、それだけで信頼でき、公正だとは限らない。過去のデータには、警察との接触、雇用上の障壁、信用へのアクセスの不平等が刻まれている可能性があり、それに最適化すれば旧来の境界をさらに効率よく動かしかねない。ここからフェミニスト的な説明責任の実践として、スコア利用の通知、異議申し立てに足る説明、利用しやすい再審査、独立監査、そして責任を負う意思決定者を問うことができる。これは事例からFemResが導く統治上の問いであり、オニールが完全な技術的解決策を示したという主張ではない。

参考資料。 版情報と本書の議論は Penguin Random Houseおよびオニールの公式サイトを参照。教師評価、信用、保険、ターゲティング広告、警察活動の循環については TIME による Cathy O’Neil へのインタビューも確認した。『Your Computer Is on Fire』と『Programmed Inequality』を併読すると、インフラと労働、コンピューティングの制度史へ議論を広げられる。