La race après la technologie

Ruha Benjamin nomme le « New Jim Code » pour décrire les technologies qui reproduisent la hiérarchie raciale tout en apparaissant plus objectives, efficaces ou progressistes que les institutions qu’elles remplacent. De la notation des risques et des systèmes prédictifs à la reconnaissance faciale, aux technologies de santé et à l’éligibilité automatisée, la discrimination peut être conçue en catégories, données de formation, objectifs et déploiement. Le problème n’est pas une machine à préjugés agissant seule : les systèmes techniques héritent des choix politiques et rendent ensuite ces choix plus difficiles à voir et à contester.

Benjamin distingue plusieurs schémas récurrents. Certains outils renforcent la surveillance et les sanctions ; d’autres ignorent les différences raciales au nom de la neutralité, ou proposent une image de marque superficielle de la diversité tout en laissant le pouvoir inchangé. Même les conceptions présentées comme bienveillantes peuvent contraindre les personnes qu’elles prétendent aider. Son approche féministe noire se demande qui est imaginé comme l’utilisateur, qui devient un problème à gérer, qui effectue un travail caché et quelles communautés sont obligées de fournir des données sans autorité sur la conception.

L’horizon abolitionniste du livre va au-delà de la correction d’ensembles de données biaisés ou de la diversification des équipes d’ingénierie. Il demande aux lecteurs d’imaginer des technologies qui n’automatisent pas en premier lieu le maintien de l’ordre, l’exclusion et l’extraction, et de reconnaître les pratiques communautaires comme des sites d’invention. Étant donné que les exemples dans des domaines en évolution rapide vieillissent, le cadre doit être réappliqué plutôt que traité comme un catalogue fixe. Son exigence constante est que l’équité soit jugée par les relations sociales et les conséquences, et non par les performances techniques d’un modèle ou les bonnes intentions de ses créateurs.