Not My AI : un cadre féministe pour questionner les décisions algorithmiques du secteur public

Le projet Not My AI de Joana Varon et Paz Peña n’est pas un guide général sur les « biais de l’IA ». Il part des services publics en Amérique latine et demande pourquoi les gouvernements introduisent des décisions algorithmiques dans l’éducation, les prestations sociales et la protection de l’enfance. Les autrices dépassent la question de l’exactitude : l’automatisation est-elle nécessaire ? Qui a conçu le système et quelles données l’ont entraîné ? Quelle institution publique agit à partir de ses résultats, et les personnes concernées peuvent-elles les contester ? Le projet cherche à élaborer un cadre féministe et anticolonial pour résister à l’idée que l’innovation technique serait un raccourci pour résoudre la pauvreté et les inégalités.

Le rapport analyse le Sistema Alerta Niñez au Chili, qui utilise des dossiers administratifs pour estimer les risques concernant les enfants et les familles, puis aider les bureaux locaux à organiser leur soutien. Selon l’analyse de Not My AI, transformer les traces des services publics en classement des risques peut exposer les familles pauvres à une identification et à des interventions plus intenses ; le fait qu’une personne prenne la décision finale ne prouve pas que le score ne sera pas traité comme un fait neutre. Le compte rendu du cas indique aussi que le gouvernement a commandé un audit algorithmique avant d’en refuser la publication. L’enjeu féministe n’est pas seulement de savoir si un algorithme remplace une travailleuse sociale : il s’agit de savoir qui définit les familles à intervenir lorsque l’aide est distribuée par triage des risques, et qui peut examiner la fabrication des catégories.

Une deuxième analyse porte sur la plateforme technologique d’intervention sociale en Argentine et sur le projet ultérieur Projeto Horus, lié aux programmes sociaux du Brésil. La plateforme a tenté d’utiliser des données familiales et des conditions de vie de filles vivant dans des régions pauvres pour prédire le décrochage scolaire et les grossesses adolescentes. Les autrices et les documents de cas associés mettent en cause la méthode statistique, les biais des données et le cadrage genré : concentrer les prédictions de grossesse sur les filles peut transformer un problème structurel en surveillance du corps des jeunes femmes. Lorsque le projet s’est étendu au Brésil, les informations publiques ne permettaient pas non plus d’établir l’efficacité de l’essai ni la responsabilité de l’entreprise technologique. Il s’agit de critiques de projets historiques et des lacunes de leurs preuves, et non d’affirmations sur tous les systèmes publics brésiliens actuels.

Le regard anticolonial ne désigne pas seulement une région. Il met en évidence une relation de gouvernement : des communautés pauvres fournissent des informations très sensibles, tandis que les institutions publiques et les fournisseurs de technologie acquièrent un pouvoir de classement et de prédiction ; les communautés concernées peuvent, elles, ne pas participer à la définition du problème ni au contrôle du système. La cartographie du rapport était un exercice initial et non exhaustif réalisé autour de 2021, et non un inventaire complet à jour ; l’état des projets et les preuves disponibles diffèrent. Avant de mesurer la précision, le texte invite à demander : pourquoi automatiser ? Le service pourrait-il fonctionner sans collecter davantage de données ? Qui peut faire appel, corriger un dossier ou refuser ? À lire avec le Feminist Data Manifest-No et les Principes féministes de l’Internet — version 2.0, qui montrent comment refus, gouvernance et maîtrise des données se renforcent. Sources : le texte de recherche FIRN, le cas du système chilien d’alerte à l’enfance et le cas de prédiction des grossesses adolescentes en Argentine et au Brésil.