Armes de destruction mathématique

Weapons of Math Destruction de Cathy O’Neil explique comment des modèles apparemment objectifs deviennent des moteurs d’inégalité lorsqu’ils sont opaques, fonctionnent à grande échelle et nuisent aux personnes qu’ils classent. S’appuyant sur des exemples tirés de l’éducation, de l’embauche, du crédit, de l’assurance, de la planification du travail, de la publicité et de la justice pénale, elle montre que les algorithmes ne se contentent pas de découvrir le risque ou le mérite. Les concepteurs choisissent des proxies pour ces concepts, les institutions agissent sur les scores résultants, et les conséquences génèrent des retours qui semblent confirmer le modèle initial. Les personnes les moins puissantes sont soumises à cette expérimentation tandis que les institutions prestigieuses et les décideurs aisés restent souvent protégés d’un examen comparable.

Le livre est indispensable à la critique féministe de la technologie parce que les systèmes de données héritent de la répartition sociale de la vulnérabilité. Un modèle peut omettre le genre ou la race comme variables explicites, mais les reproduire à travers le revenu, l’adresse, l’historique professionnel, les interruptions pour soins, le handicap, le contact avec la police ou l’accès à des diplômes conventionnels. Le récit d’O’Neil aide à expliquer pourquoi la neutralité formelle ne produit pas l’égalité substantielle et pourquoi les recours individuels ne peuvent pas réparer des systèmes conçus sans transparence ni responsabilité réciproque. Sa catégorie mémorable de “arme de destruction mathématique” offre aux lecteurs un outil de diagnostic pratique : demander qui peut inspecter le modèle, qui subit ses erreurs, si les résultats sont audités et si l’institution apprend des préjudices.

En tant qu’intervention publique générale, le livre se concentre sur les institutions des États-Unis et ne développe pas pleinement les analyses distinctes que l’on retrouve dans le féminisme noir, la justice du handicap, les études trans, l’organisation syndicale et la pratique décoloniale des données, appliquées au pouvoir automatisé. Ses exemples précèdent également la vague actuelle de l’IA générative et de la gouvernance des plateformes. Ces limites en font un point de départ plutôt qu’une théorie complète. Sa valeur durable est de remplacer l’émerveillement devant la complexité mathématique par des questions politiques sur la propriété, le consentement, la preuve et la réparation — et d’insister sur le fait qu’un modèle affectant la vie des gens doit être jugé par le monde inégal qu’il contribue à créer.

Les exemples gagnent à être distingués plutôt que ramenés à un unique « algorithme biaisé ». Un modèle de valeur ajoutée transforme les résultats scolaires en jugement sur les enseignants, alors que des facteurs instables peuvent peser sur le score ; les systèmes de crédit et d’assurance convertissent des indicateurs indirects en accès ou en prix ; la police prédictive peut concentrer davantage de surveillance dans des quartiers déjà ciblés, puis traiter les nouveaux signalements comme une confirmation. L’entretien d’O’Neil évoque aussi les publicités ciblées de certaines universités à but lucratif auprès de personnes en situation précaire. Ces dispositifs diffèrent, mais posent les mêmes questions : que mesure-t-on, peut-on contester le score, et qui assume le coût d’une erreur ?

Un modèle ne devrait pas être jugé fiable ou juste simplement parce qu’il prédit les résultats déjà consignés par une institution : les données historiques peuvent porter les inégalités d’exposition à la police, d’accès à l’emploi ou au crédit. Optimiser le modèle sur ces traces risque de rendre les anciennes frontières plus efficaces. Une démarche féministe de responsabilité demanderait donc que l’usage d’un score soit signalé, qu’une explication permette de le contester, qu’un recours soit accessible, qu’un audit indépendant soit possible et qu’une personne décisionnaire reste responsable. Ce sont des questions de gouvernance que FemRes tire des exemples, et non une solution technique complète attribuée à O’Neil.

Sources. L’édition et la thèse sont vérifiées auprès de Penguin Random House et du site officiel de Cathy O’Neil. L’entretien publié par TIME étaye les exemples d’évaluation des enseignants, de crédit, d’assurance, de publicité ciblée et de boucles de rétroaction policières. Lire aussi Your Computer Is on Fire sur l’infrastructure et le travail, et Programmed Inequality sur l’histoire institutionnelle de l’informatique.