FemRes持續生長的評論

拉丁美洲女性主義 · 評論

Not My AI:質疑公共部門演算法決策的女性主義框架

摘要

Joana Varon 與 Paz Peña 透過拉丁美洲公共服務案例追問:演算法分配福利或預測風險時,誰定義問題、誰承受代價?

FemRes / 2022年10月17日
01

文章解析

Joana Varon 與 Paz Peña 的 Not My AI 不是一本泛談「人工智慧有偏見」的指南,而是從拉丁美洲的公共服務出發,追問政府為何將演算法決策帶入教育、社會福利與兒童保護。作者關心的不只是模型是否準確,而是自動化是否必要、由誰設計、使用誰的資料訓練、被置於什麼公共制度,以及受影響的人能否質疑結果。這項研究試圖發展女性主義與反殖民的檢視框架,反對把技術創新包裝成解決貧窮與不平等的捷徑。

報告討論智利的「兒童預警系統」(Sistema Alerta Niñez),它使用行政資料估算兒童與家庭的風險,協助地方辦公室安排支持。Not My AI 指出,把既有公共服務紀錄轉化成風險排序,可能使貧窮家庭受到更密集的辨識與介入;而「最後由人決定」並不能證明機器分數不會被視為中立事實。案例記錄也提到,政府曾委託演算法稽核,卻拒絕公開結果。女性主義問題並不只是「演算法會不會取代社工」,而是福利一旦被設計成按風險排序的有限資源,誰能定義哪些家庭需要介入,又有誰能看見分類如何形成。

另一組分析聚焦阿根廷的社會干預科技平台,以及後來與巴西社會方案相連的 Projeto Horus。該平台曾嘗試利用貧困地區女孩的家庭與生活條件資料,預測輟學和青少年懷孕。作者及相關案例紀錄質疑其統計方法、資料偏差和性別設計:把懷孕風險集中計算在女孩身上,可能將結構問題改寫為對年輕女性身體的監控。當計畫延伸至巴西時,公開文件也不足以說明試點是否有效,以及科技企業如何承擔責任。這些是對歷史計畫及其證據透明度的批判,不應被誤讀為對今日所有巴西公共系統的描述。

這裡的反殖民不只是地理標籤,而是在指出一種治理關係:貧困社群提供高度敏感的資料,公共機構與科技供應商取得分類和預測能力,受影響社群卻未必能參與定義問題或檢視系統。報告約在 2021 年進行的案例盤點是初步且非窮盡性的研究,不是當下完整清單;各試點的狀態與可取得證據也不相同。它提供幾個先於準確率的問題:為什麼要自動化?能否不蒐集更多資料也提供服務?誰可以申訴、修正紀錄或拒絕?與《女性主義資料宣言:拒絕與承諾》及《網路女性主義原則(2.0版)》並讀,可看見拒絕、治理權與資料控制如何相互補充。來源包括FIRN 研究文本、智利兒童預警系統案例及阿根廷—巴西青少年懷孕預測案例。

02

繼續追蹤這個議題

01
延伸閱讀 / 2019年1月9日

拉丁美洲和加勒比非洲裔女性:平等的欠帳

Economic Commission for Latin America and the Caribbean

02
延伸閱讀 / 2024年3月8日

人工智能中的性別偏見:2024年的警告

聯合國婦女署 & UNESCO

03
延伸閱讀 / 2019年8月8日

綠色浪潮:走向阿根廷合法墮胎

Amnesty International

讀者回應

讀者來信

回應這篇文章,或補充一條值得納入討論的資料。

加入討論

回應

載入評論中...

支持我們

如果這些內容對你有幫助

支持 FemRes