Plus qu'un bug : Affronter les biais de race, de genre et de capacité dans la tech

Lorsque la technologie renforce l’inégalité, ce n’est pas seulement un bug (glitch) — c’est un signal que nous devons repenser nos systèmes pour créer un monde plus équitable. Le mot « glitch » suggère une erreur accidentelle, aussi facile à corriger qu’à identifier. Mais et si le racisme, le sexisme et le capacitisme n’étaient pas seulement des bugs dans des machines par ailleurs fonctionnelles — et s’ils étaient codés dans le système lui-même ? Dans la lignée de figures majeures telles que Safiya Umoja Noble, Cathy O’Neil et Ruha Benjamin, Meredith Broussard démontre dans « Plus qu’un bug » (More Than a Glitch) comment la neutralité technologique est un mythe et pourquoi les algorithmes doivent être tenus responsables. Broussard, data scientist et l’une des rares chercheuses noires en intelligence artificielle, synthétise avec brio les concepts de l’informatique et de la sociologie. Elle explore une gamme d’exemples : de la technologie de reconnaissance faciale entraînée uniquement pour reconnaître les teints clairs aux algorithmes d’approbation de prêts hypothécaires qui encouragent les prêts discriminatoires, en passant par les boucles de rétroaction dangereuses qui surviennent lorsque les algorithmes de diagnostic médical sont entraînés sur des données insuffisamment diversifiées. Même lorsque ces technologies sont conçues avec de bonnes intentions, Broussard montre que des humains faillibles développent des programmes qui peuvent avoir des conséquences dévastatrices.

Meredith Broussard est professeure associée à l’Institut de journalisme Arthur L. Carter de l’Université de New York et directrice de recherche à l’Alliance NYU pour la technologie d’intérêt public. Ses recherches portent sur le reportage d’investigation avec et sur l’intelligence artificielle. Broussard est arrivée au Harvard College en 1991, étudiant initialement l’informatique en tant que l’une des six seules femmes de premier cycle dans cette spécialisation, mais elle a quitté l’informatique pour obtenir un diplôme en anglais, tout en suivant des cours d’études afro-américaines. Elle a été rédactrice en chef des rubriques de fond au Philadelphia Inquirer et développeuse de logiciels chez AT&T Bell Labs et au MIT Media Lab. Son premier livre, « Artificial Unintelligence: How Computers Misunderstand the World » (publié en avril 2018 par MIT Press), examine les limites de la technologie pour résoudre les problèmes sociaux. Le livre a reçu le prix Hacker de la Society for the History of Technology et le prix PROSE 2019 du meilleur livre en informatique et sciences de l’information par l’Association of American Publishers. Son deuxième livre, « Plus qu’un bug », a été publié en mars 2023. Broussard a publié des articles de fond et des essais dans The Atlantic, Harper’s Magazine, Slate Magazine et de nombreux autres médias. Elle se décrit comme une spécialiste de l’éthique de l’IA, une journaliste de données et une éducatrice possédant une vaste expérience technologique. Broussard a qualifié le biais algorithmique de « question de droits civiques de notre temps » et apparaît dans le documentaire de 2020 « Coded Bias ».

Le mot « glitch » dans les contextes technologiques signifie généralement une petite erreur, une anomalie, un problème qui peut être rapidement résolu. Lorsque votre application plante ou que votre écran clignote, vous dites « il y a un glitch ». Le mot suggère que le problème est temporaire, accidentel, superficiel — que le système sous-jacent est bon, mais que quelque chose a mal tourné quelque part. Mais l’argument de Broussard est que lorsqu’il s’agit des biais de race, de genre et de capacité dans l’IA et les systèmes algorithmiques, le mot « glitch » sous-estime sérieusement la nature et la gravité du problème. Il ne s’agit pas d’erreurs aléatoires corrigibles par des correctifs ; elles sont systématiques, structurelles, souvent le résultat de choix de conception intentionnels. Ce ne sont pas des « bugs » mais des fonctionnalités — des éléments centraux du fonctionnement de ces systèmes technologiques.

Broussard raconte cette histoire à partir de sa position unique de chercheuse noire en IA. Dans un domaine dominé par les hommes blancs, son existence même est une intervention. Elle critique l’IA non seulement de l’extérieur mais aussi de l’intérieur — en tant que personne ayant travaillé chez Bell Labs et au MIT Media Lab, possédant une expertise technique approfondie. Elle sait comment le code est écrit, comment les algorithmes sont entraînés, comment les systèmes sont déployés. Cette connaissance de l’intérieur rend sa critique plus acérée et plus crédible. Elle ne peut être écartée comme une profane qui ne comprend pas la technologie ; elle comprend parfaitement la technologie et, précisément pour cette raison, elle peut la critiquer si efficacement.

L’argument central du livre est que la neutralité technologique est un mythe. Il existe une croyance largement répandue selon laquelle les technologies elles-mêmes sont des outils neutres — elles peuvent être utilisées à de bonnes ou de mauvaises fins, mais la technologie elle-même n’a ni valeurs ni biais. Un algorithme n’est qu’une série d’instructions, un jeu de données n’est qu’une collection de nombres, un système d’IA n’est qu’un modèle mathématique — comment pourraient-ils être racistes ou sexistes ? Mais Broussard montre que cette vision ignore comment la technologie est créée, par qui, pour qui et dans quel contexte. Chaque système technologique incarne les hypothèses, les valeurs et les biais de ses créateurs. Chaque algorithme reflète les données sur lesquelles il a été entraîné, et ces données reflètent les inégalités et les préjugés de la société qui les a collectées. Chaque décision de déploiement implique des jugements sur qui compte, quels besoins sont prioritaires, qui peut être marginalisé ou sacrifié.

Broussard illustre cet argument à travers une série d’études de cas convaincantes et troublantes. Elle commence par la technologie de reconnaissance faciale — un domaine dont on parle beaucoup mais qui est encore souvent mal compris. Les systèmes de reconnaissance faciale sont extrêmement précis pour identifier des visages d’hommes blancs mais font souvent des erreurs lors de l’identification des femmes, en particulier des femmes à la peau foncée. Pourquoi ? Parce que ces systèmes ont été entraînés sur des jeux de données contenant principalement des visages d’hommes blancs. L’algorithme a appris ce que signifie un « visage » d’après les exemples qu’il a vus ; si la plupart de ce qu’il a vu étaient des hommes blancs, il traiterait cela comme la norme, considérant tout le reste comme une déviation. La chercheuse Joy Buolamwini a découvert que certains systèmes de reconnaissance faciale commerciaux avaient des taux d’erreur allant jusqu’à 34 % pour les femmes à la peau foncée, tout en ayant moins de 1 % d’erreur pour les hommes blancs.

Il ne s’agit pas d’un simple problème technique ; cela a des conséquences réelles. La reconnaissance faciale est utilisée dans le maintien de l’ordre, le contrôle des frontières, la sélection à l’embauche, les services financiers, et plus encore. Lorsque ces systèmes identifient plus facilement de manière erronée les femmes noires, cela signifie que ces femmes ont plus de chances d’être arrêtées à tort, de se voir refuser des services, d’être signalées à tort comme suspectes. Aux États-Unis, il y a eu de multiples cas d’hommes noirs arrêtés à tort en raison d’erreurs de concordance du système de reconnaissance faciale. Ces erreurs ne sont pas des « bugs » ; ce sont les résultats prévisibles d’un système conçu pour fonctionner au mieux sur des hommes blancs et déployé dans un environnement policier racialisé.

Broussard explore également les algorithmes d’approbation de prêts hypothécaires, révélant des formes plus insidieuses de discrimination algorithmique. En apparence, l’utilisation d’algorithmes pour décider qui obtient des prêts semble être un bon moyen d’éliminer les biais humains — les algorithmes ne seront pas influencés par des hypothèses racistes comme les agents de crédit humains, n’est-ce pas ? Mais il s’avère que les algorithmes peuvent perpétuer et amplifier le racisme systémique, et ils le font en effet. Des recherches montrent que même en tenant compte du revenu, des scores de crédit et d’autres facteurs « légitimes », les demandeurs noirs et latinos ont toujours plus de chances de se voir refuser un prêt hypothécaire ou de se voir facturer des taux d’intérêt plus élevés. Pourquoi ? Parce que les algorithmes sont entraînés sur des données historiques reflétant des décennies de pratiques de prêt discriminatoires. Si les banques ont historiquement rejeté les demandeurs de certains codes postaux (qui se trouvent être majoritairement noirs), l’algorithme apprend que les codes postaux sont des prédicteurs de défaut de paiement, perpétuant ainsi les mêmes schémas discriminatoires.

De manière plus insidieuse, les algorithmes peuvent trouver des variables de substitution (proxy variables) — des variables corrélées à la race ou au genre mais ostensiblement « neutres » — pour parvenir à des résultats discriminatoires sans violer manifestement les lois anti-discrimination. Par exemple, un algorithme pourrait prendre en compte votre réseau d’amis sur les réseaux sociaux, le langage que vous utilisez, les sites web que vous visitez — tous des éléments fortement corrélés à la race et à la classe sociale, mais aucun n’étant explicitement la « race ». Le résultat est un système qui semble objectif et fondé sur les données, mais qui renforce et automatise en réalité le racisme et le sexisme.

Dans le domaine de la santé, Broussard documente les boucles de rétroaction dangereuses qui surgissent lorsque les algorithmes de diagnostic médical sont entraînés sur des données insuffisamment diversifiées. De nombreux systèmes d’IA médicale ont été développés à partir de données concernant principalement des patients blancs de sexe masculin, car historiquement, les essais cliniques recrutaient principalement des participants blancs de sexe masculin. Le résultat est des algorithmes qui diagnostiquent bien les maladies chez les hommes blancs mais avec moins de précision chez les femmes, les personnes de couleur ou les personnes handicapées. Par exemple, les maladies cardiaques se présentent souvent différemment chez les femmes que chez les hommes, mais si l’algorithme est principalement entraîné sur des données masculines, il pourrait passer à côté des symptômes de maladie cardiaque chez les femmes. Les algorithmes de détection du cancer de la peau entraînés sur des peaux plus claires pourraient ne pas reconnaître les signes de cancer sur les peaux plus foncées.

Pire encore, cela crée un cycle d’auto-renforcement. Si les algorithmes obtiennent de mauvais résultats pour le diagnostic de certains groupes, ces groupes peuvent perdre confiance dans l’utilisation de ces technologies et donc moins participer aux recherches futures ou moins utiliser ces services. Cela signifie à son tour que moins de données sont collectées sur ces groupes, ce qui rend les algorithmes plus difficiles à améliorer à l’avenir. En même temps, si les algorithmes diagnostiquent mal certains groupes, les médecins pourraient commencer à mettre en doute les symptômes des patients de ces groupes, en supposant que « la technologie dit que tout va bien, le problème doit donc venir du patient ». Cela perpétue les schémas de racisme et de sexisme déjà existants dans les systèmes médicaux, où la douleur et les symptômes des femmes et des personnes de couleur ont longtemps été minimisés ou ignorés.

Broussard explore également les systèmes de recrutement automatisés utilisant des algorithmes pour filtrer les CV et évaluer les candidats. Amazon a autrefois développé un outil de recrutement par IA mais a dû l’abandonner car il discriminait systématiquement les candidates. Pourquoi ? Parce qu’il avait été entraîné sur les données de recrutement de l’entreprise de la décennie précédente, et pendant ce temps, l’entreprise embauchait principalement des hommes (en particulier pour les postes techniques). L’algorithme a appris à quoi ressemblait un « bon candidat » d’après les décisions de recrutement passées ; comme les décisions passées étaient sexistes, l’algorithme l’est devenu aussi. Il pénalisait les CV contenant le mot « femmes » (par exemple, « capitaine d’un club d’échecs féminin ») et dégradait les candidats issus de collèges pour femmes.

Cet exemple révèle un point clé : les algorithmes ne peuvent pas corriger des données biaisées. Si vous entraînez un algorithme sur des données reflétant des pratiques d’embauche sexistes, vous obtenez un algorithme sexiste. Il ne suffit pas d’ajouter des données ou de « débruiter » l’algorithme si le problème sous-jacent — la culture et les pratiques sexistes de l’entreprise — n’est pas abordé. La technologie ne peut pas résoudre les problèmes sociaux ; elle peut seulement les refléter et souvent les amplifier.

Broussard accorde une attention particulière à l’intersectionnalité — la manière dont la race, le genre, la classe, les capacités et d’autres axes d’identité interagissent pour créer des formes uniques d’oppression et de marginalisation. Elle note que lorsque nous parlons de biais algorithmique, nous ne pouvons pas simplement considérer le « biais racial » ou le « biais de genre » comme s’il s’agissait de questions distinctes. Les femmes noires ne vivent pas seulement le racisme plus le sexisme ; elles vivent une forme spécifique de discrimination qui est le produit des deux, irréductible à l’un ou à l’autre. De même, les femmes de couleur handicapées, les personnes trans queers, les immigrés âgés — tous se trouvent aux intersections de multiples marginalisations, et les systèmes algorithmiques échouent souvent le plus à ces intersections.

C’est en partie parce que les sujets intersectionnels sont généralement les moins représentés dans les données d’entraînement. Si votre jeu de données manque déjà de femmes, il manque probablement encore plus de femmes noires, et encore plus de femmes noires handicapées. Si vous essayez de « débruiter » votre algorithme en assurant l’équilibre des genres mais que vous ne considérez que les femmes blanches, vous n’avez pas abordé le biais racial. Si vous essayez d’aborder le biais racial en incluant plus de participants noirs mais qu’ils sont tous des hommes, vous n’avez pas abordé le biais de genre. Une véritable inclusivité et équité exige une attention à l’intersectionnalité — reconnaître que les gens ont des identités multiples interdépendantes qui façonnent leur manière d’interagir avec les systèmes technologiques et la façon dont ces systèmes les affectent.

Broussard critique également le « solutionnisme technologique » — la croyance que chaque problème a une solution technologique. Dans la Silicon Valley et l’industrie de la tech, il y a une tendance à formuler les problèmes sociaux comme des problèmes techniques solubles avec de meilleurs logiciels, des algorithmes plus intelligents, plus de données. La pauvreté ? Il y a une application pour ça. La discrimination ? Entraînez un algorithme. L’inégalité ? Optimisez le système. Mais Broussard soutient que cette approche méconnaît fondamentalement la nature des problèmes sociaux. Le racisme, le sexisme, le capacitisme ne sont pas des « bugs » corrigibles par la technologie ; ce sont des formes systémiques d’oppression profondément enracinées dans des structures historiques, culturelles, économiques et politiques.

Pire encore, le solutionnisme technologique détourne souvent l’attention des vraies solutions. Si nous concentrons toute notre énergie à « débruiter » les algorithmes, nous pourrions ignorer le besoin d’aborder les inégalités structurelles produisant des données biaisées. Si nous nous concentrons sur la création d’une IA plus « équitable », nous pourrions éviter de nous demander si nous devrions utiliser l’IA dans certains domaines à enjeux élevés en premier lieu. Si nous essayons de corriger technologiquement la discrimination, nous pourrions éviter de mener à bien la transformation politique et sociale nécessaire pour parvenir à une véritable justice.

Alors, quelle est la solution proposée par Broussard ? Son argument n’est pas de rendre la tech omniprésente plus inclusive, mais de supprimer dès le départ les algorithmes qui ciblent certaines populations comme « autres ». C’est une affirmation radicale : non pas « corrigeons l’IA biaisée » mais « demandons-nous si nous devrions déployer ces systèmes d’IA au départ ». Elle appelle à une réglementation et une responsabilité plus strictes de la technologie. Les algorithmes ne devraient pas être traités comme des « boîtes noires » dont les opérations sont opaques. Il devrait y avoir des lois exigeant la transparence : les entreprises devraient divulguer le fonctionnement de leurs algorithmes, les données sur lesquelles ils sont entraînés, la manière dont ils prennent des décisions. Il devrait y avoir des évaluations d’impact : avant de déployer des algorithmes, des tests rigoureux devraient identifier les biais et les dommages potentiels, en particulier pour les communautés marginalisées. Il devrait y avoir des mécanismes de responsabilité : lorsque les algorithmes causent des dommages, il devrait y avoir des recours clairs, et les entreprises et les développeurs devraient être tenus responsables.

Broussard appelle également à la diversité dans l’industrie technologique — pas seulement à une représentation symbolique, mais à un véritable pouvoir et une autorité de décision. Si les systèmes d’IA ne sont conçus que par des hommes blancs, ils continueront à refléter les hypothèses et priorités des hommes blancs. Nous avons besoin de plus de personnes issues de diverses origines raciales, de genres, de capacités et de classes sociales impliquées à tous les stades du développement technologique — de la recherche à la conception, en passant par le déploiement et l’évaluation. Et nous avons besoin que ces voix diverses ne soient pas simplement « incluses » mais dotées d’un pouvoir réel pour façonner les décisions. Cela signifie changer l’enseignement technologique pour qu’il soit plus accueillant et solidaire envers les étudiants issus de groupes sous-représentés. Cela signifie changer les pratiques d’embauche et de promotion, aborder la discrimination et le harcèlement rampants dans l’industrie tech. Cela signifie valoriser différents types d’expertise, reconnaître que l’expérience vécue de l’inégalité et de la marginalisation est un atout crucial pour concevoir une technologie équitable.

Mais Broussard reconnaît aussi que la diversité seule n’est pas une panacée. Il est possible d’avoir une équipe diversifiée mais de produire quand même une technologie biaisée si les contraintes et les incitants structurels restent inchangés. Si les priorités restent la maximisation du profit, si les mesures restent l’engagement et la croissance, si la culture reste « aller vite et casser des choses », alors même avec une équipe plus diversifiée, les résultats pourraient toujours être néfastes. Un vrai changement exige non seulement de changer qui est dans la pièce mais de changer les règles de la pièce — changer les structures de pouvoir, les processus de décision, les valeurs et les objectifs.

Broussard souligne également l’importance de l’engagement et de l’autonomie communautaire. Les communautés les plus affectées par les systèmes technologiques devraient avoir leur mot à dire dans la conception et le déploiement de ces systèmes. Cela signifie consulter les communautés dès le début du processus de développement technique, et pas seulement solliciter des commentaires une fois les systèmes déjà construits. Cela signifie respecter les préoccupations et les priorités des communautés, même lorsqu’elles entrent en conflit avec les intérêts commerciaux des entreprises tech. Cela signifie que les communautés devraient avoir le droit de refuser une technologie indésirable, de se retirer de systèmes qui pourraient leur nuire.

L’un des moments les plus forts du livre est la discussion de Broussard sur l’utilisation de la reconnaissance faciale dans le maintien de l’ordre. De nombreuses organisations de droits civiques appellent à un moratoire ou à une interdiction pure et simple de l’utilisation de la technologie de reconnaissance faciale par la police, en raison de ses faibles taux de précision, de son biais racial et de son potentiel d’utilisation pour la surveillance et le ciblage des communautés de couleur. Broussard soutient ces appels, affirmant qu’il n’y a aucun moyen de rendre cette technologie « assez bonne » ou « assez équitable » pour justifier son utilisation dans ce contexte. Même si nous pouvions améliorer la précision de la reconnaissance faciale à 99 %, il y aurait toujours des erreurs — et ces erreurs affecteraient de manière disproportionnée les communautés déjà ciblées injustement par la police. Et l’existence même de la technologie change la dynamique du pouvoir, créant des possibilités de surveillance de masse et de contrôle incompatibles avec une société libre.

Cet exemple illustre l’argument plus large de Broussard : parfois, la solution n’est pas de « corriger » la technologie mais de ne pas la déployer. Tous les problèmes n’ont pas besoin d’une solution technologique, toutes les solutions technologiques ne devraient pas être mises en œuvre même si elles sont techniquement réalisables. Nous avons besoin de jugements éthiques plus approfondis sur l’utilisation de la technologie, en reconnaissant que certaines applications — quel que soit leur degré d’« amélioration » ou de « débruitage » — sont fondamentalement inacceptables à cause des dommages qu’elles causent.

Le style d’écriture de Broussard rend les concepts techniques complexes accessibles aux lecteurs non spécialistes tout en conservant rigueur et profondeur. Elle utilise des exemples et des analogies clairs pour expliquer comment fonctionnent les algorithmes, pourquoi ils pourraient être biaisés, comment ces biais se manifestent. Elle entremêle également des récits personnels — ses propres expériences de femme noire dans la tech, les moments où elle a rencontré des biais et des discriminations, comment elle a appris à examiner de manière critique un domaine qu’elle aimait autrefois. Ces touches personnelles rendent le livre non seulement intellectuellement stimulant mais aussi émotionnellement engageant.

Le livre dialogue avec des ouvrages comme « Algorithms of Oppression » de Safiya Umoja Noble, « Weapons of Math Destruction » de Cathy O’Neil et « Race After Technology » de Ruha Benjamin, qui examinent tous de manière critique les biais et la discrimination dans la technologie. Mais la contribution unique de Broussard réside dans son insistance sur l’intersectionnalité — ne pas considérer seulement la race ou le genre mais aussi les capacités, la classe sociale, et la manière dont ces catégories interagissent. Elle se concentre également particulièrement sur le cadrage du « glitch » lui-même, remettant en question notre tendance à considérer les dommages technologiques comme des erreurs corrigeables plutôt que comme des choix de conception systémiques.

Pour les lecteurs français, ce livre a une pertinence profonde. Bien que de nombreux exemples proviennent de contextes américains, les questions qu’il soulève sont mondiales. La France déploie également rapidement des systèmes d’IA et algorithmiques — de la reconnaissance faciale aux outils d’aide à la décision automatisée. Quelles hypothèses et valeurs ces systèmes incarnent-ils ? Quels sont leurs impacts sur les différents groupes ? Qui les conçoit, qui est affecté ? Le cadre d’analyse de Broussard — reconnaître que la technologie n’est pas neutre, que les algorithmes reflètent et amplifient les inégalités sociales, que nous avons besoin d’examiner de manière critique le déploiement technologique — s’applique tout autant aux contextes français.

En même temps, ce livre nous rappelle que la justice technologique fait partie de la justice mondiale. De nombreux systèmes d’IA conçus en Occident sont déployés mondialement, exportant les biais et hypothèses américains ou européens vers le reste du monde. Des systèmes de reconnaissance faciale déployés dans des pays africains, entraînés principalement sur des visages blancs ; des algorithmes de prêt utilisés dans les pays du Sud, basés sur des hypothèses économiques des pays du Nord. Ces formes de colonialisme technologique sont la dimension mondiale du biais technologique, nécessitant une coopération mondiale pour être abordées.

« Plus qu’un bug » est en fin de compte un livre sur le pouvoir et la justice. Il exige que nous reconnaissions que la technologie n’est pas seulement une question d’efficacité ou d’innovation, mais qu’elle concerne celui qui détient le pouvoir, celui qui en profite, celui qui est lésé. Il nous met au défi de dépasser la pensée consistant à « corriger des bugs » pour questionner les systèmes eux-mêmes — leurs objectifs, leurs hypothèses, leurs impacts. Il nous appelle à voir la justice technologique comme inséparable de la justice sociale, reconnaissant que dans un monde de plus en plus façonné par les algorithmes, la lutte contre les biais algorithmiques fait partie de la lutte plus large contre le racisme, le sexisme et toutes les formes d’oppression.

Meredith Broussard, forte de son expertise technique de data scientist et de son expérience vécue de femme noire, a écrit un livre à la fois rigoureux et accessible, à la fois critique et constructif. « Plus qu’un bug » est une lecture essentielle pour quiconque s’inquiète de l’avenir de la technologie, de la justice sociale ou souhaite simplement comprendre le monde algorithmique dans lequel nous vivons. C’est un défi lancé à l’industrie technologique pour qu’elle s’améliore ; un appel aux décideurs politiques pour la réglementation et la responsabilité ; un rappel à tout le monde que la technologie n’est pas un destin, que nous pouvons et devons la façonner pour qu’elle serve la justice et l’équité plutôt que de perpétuer l’inégalité. Dans une époque où la technologie est souvent présentée comme une force inévitable de progrès et de libération, Broussard nous rappelle que le véritable progrès exige que nous examinions la technologie de manière critique, que nous contestions ses biais et ses méfaits, et que nous nous battions pour un monde où la technologie sert véritablement tout le monde.