Armes de destruction mathématique

Weapons of Math Destruction de Cathy O’Neil explique comment des modèles apparemment objectifs deviennent des moteurs d’inégalité lorsqu’ils sont opaques, fonctionnent à grande échelle et nuisent aux personnes qu’ils classent. S’appuyant sur des exemples tirés de l’éducation, de l’embauche, du crédit, de l’assurance, de la planification du travail, de la publicité et de la justice pénale, elle montre que les algorithmes ne se contentent pas de découvrir le risque ou le mérite. Les concepteurs choisissent des proxies pour ces concepts, les institutions agissent sur les scores résultants, et les conséquences génèrent des retours qui semblent confirmer le modèle initial. Les personnes les moins puissantes sont soumises à cette expérimentation tandis que les institutions prestigieuses et les décideurs aisés restent souvent protégés d’un examen comparable.

Le livre est indispensable à la critique féministe de la technologie parce que les systèmes de données héritent de la répartition sociale de la vulnérabilité. Un modèle peut omettre le genre ou la race comme variables explicites, mais les reproduire à travers le revenu, l’adresse, l’historique professionnel, les interruptions pour soins, le handicap, le contact avec la police ou l’accès à des diplômes conventionnels. Le récit d’O’Neil aide à expliquer pourquoi la neutralité formelle ne produit pas l’égalité substantielle et pourquoi les recours individuels ne peuvent pas réparer des systèmes conçus sans transparence ni responsabilité réciproque. Sa catégorie mémorable de “arme de destruction mathématique” offre aux lecteurs un outil de diagnostic pratique : demander qui peut inspecter le modèle, qui subit ses erreurs, si les résultats sont audités et si l’institution apprend des préjudices.

En tant qu’intervention publique générale, le livre se concentre sur les institutions des États-Unis et ne développe pas pleinement les analyses distinctes que l’on retrouve dans le féminisme noir, la justice du handicap, les études trans, l’organisation syndicale et la pratique décoloniale des données, appliquées au pouvoir automatisé. Ses exemples précèdent également la vague actuelle de l’IA générative et de la gouvernance des plateformes. Ces limites en font un point de départ plutôt qu’une théorie complète. Pour FemRes, sa valeur durable est de remplacer l’émerveillement devant la complexité mathématique par des questions politiques sur la propriété, le consentement, la preuve et la réparation — et d’insister sur le fait qu’un modèle affectant la vie des gens doit être jugé par le monde inégal qu’il contribue à créer.