Not My AI：公共部門のアルゴリズム意思決定を問うフェミニスト・フレームワーク

Joana VaronとPaz PeñaによるNot My AIは、「AIには偏見がある」と一般論を述べるガイドではない。ラテンアメリカの公共サービスを起点に、なぜ政府が教育、社会保障、子どもの保護へアルゴリズムによる意思決定を持ち込むのかを問う。モデルの正確さだけでなく、自動化は本当に必要なのか、誰が設計し誰のデータで訓練したのか、どの公共制度が出力を利用し、影響を受ける人々は結果に異議を申し立てられるのかを検討する。プロジェクトは、技術革新を貧困や不平等の近道として提示することに抗し、フェミニストかつ反植民地主義的な問いの枠組みを作ろうとしている。

報告書は、行政記録から子どもや家族のリスクを推定し、地方窓口が支援を手配する際の参考にするチリの「子どもアラート・システム」（Sistema Alerta Niñez）を扱う。Not My AIの分析によれば、既存の公共サービス記録をリスク順位へ変換すると、貧困家庭がより集中的に特定・介入されるおそれがある。また、最終判断が人間に委ねられているという説明だけでは、スコアが中立的な事実として扱われない証明にならない。ケース記録によれば、政府はアルゴリズム監査を委託した一方で結果の公開を拒んだ。フェミニストの問いは「アルゴリズムがソーシャルワーカーを置き換えるか」だけではない。福祉がリスクで順位付けされる限られた資源として設計されるとき、誰が介入を要する家族を定義し、分類の作られ方を誰が確認できるのかを問う。

もう一つの分析対象は、アルゼンチンの社会介入技術プラットフォームと、後にブラジルの社会プログラムに関連づけられたProjeto Horusである。このプラットフォームは、貧困地域に暮らす少女の家族や生活状況のデータを用い、就学中断や10代の妊娠を予測しようとした。著者と関連するケース記録は、統計手法、データの偏り、ジェンダー設計を問題にする。妊娠リスクの計算を少女に集中させると、構造的な問題を若い女性の身体の監視へ書き換えかねない。計画がブラジルへ広がった際も、公開資料だけでは試行の有効性や企業の責任を確認できなかった。これは過去の計画と証拠公開の欠落への批判であり、現在のブラジルの公共システム全般についての主張ではない。

ここでいう反植民地主義は、単なる地域名ではなく統治関係を指す。貧困地域の人々が非常に機微な情報を提供する一方、公共機関や技術企業は分類と予測の力を得るが、当事者は問題の定義や制度の検証にほとんど参加できないことがある。報告書のケース・マッピングは2021年前後の初期的かつ非網羅的な調査であり、現在の完全な一覧ではない。各試行の状態や証拠も異なる。精度を測る前に、なぜ自動化するのか、追加データを集めずにサービスを提供できないか、誰が異議申立て、記録修正、拒否を行えるかを問うとよい。『Feminist Data Manifest-No』と『フェミニスト・インターネット原則（バージョン2.0）』を併読すると、拒否、ガバナンス、データ管理がどう結びつくかが見えてくる。出典はFIRN研究本文、チリの子どもアラート事例、アルゼンチンとブラジルの10代妊娠予測事例。