Gender Shades : Disparités d'exactitude intersectionnelles dans la classification commerciale du genre

« Gender Shades : Disparités d’exactitude intersectionnelles dans la classification commerciale du genre » est un article de recherche révolutionnaire de Joy Buolamwini et Timnit Gebru, publié lors de la première Conférence sur l’équité, la responsabilité et la transparence (FAccT) en 2018. Cet article fut le premier à quantifier systématiquement les biais sévères liés au genre et au teint dans les systèmes commerciaux de reconnaissance faciale, révélant comment les algorithmes d’intelligence artificielle discriminent systématiquement les femmes à peau foncée—une découverte qui a secoué le monde académique et déclenché des discussions politiques mondiales sur l’éthique de l’IA et l’équité algorithmique.

Joy Buolamwini est informaticienne au MIT Media Lab et fondatrice de l’Algorithmic Justice League. Timnit Gebru est informaticienne et ancienne co-responsable de l’équipe Ethical AI de Google. Toutes deux sont des femmes noires en informatique, et leurs expériences personnelles sont profondément liées à cette recherche—l’expérience de Buolamwini avec des systèmes de reconnaissance faciale incapables de détecter sa peau foncée a directement inspiré cette étude. En tant que femmes de couleur dans un domaine dominé par les hommes blancs, leur simple présence sert de preuve puissante de l’importance de la diversité dans la technologie.

La méthodologie principale de cette recherche a impliqué la création d’un nouveau jeu de données appelé Pilot Parliaments Benchmark (PPB), équilibré par genre et teint. Contrairement aux jeux de données dominants IJB-A (79,6% de sujets à peau claire) et Adience (86,2% de sujets à peau claire) de l’époque, le jeu de données PPB incorporait des photos de membres de parlements africains et européens, assurant une représentation équilibrée des teints foncés et clairs, ainsi que des hommes et des femmes. Les chercheuses ont utilisé le système de classification dermatologique Fitzpatrick, approuvé par les dermatologues, pour catégoriser les images en teints plus clairs (Types I-II) et plus foncés (Types III-VI).

Les résultats étaient choquants. Après avoir évalué trois systèmes commerciaux majeurs de classification du genre (Microsoft, IBM et Face++), les données ont révélé que les femmes à peau foncée étaient le groupe le plus mal classé, avec des taux d’erreur allant de 20,8% à 34,7%. En contraste, le taux d’erreur pour les hommes à peau claire était d’au plus 0,8%. Cette disparité n’est pas un problème technique mineur mais une discrimination systémique—les femmes à peau foncée étaient mal classées à des taux plus de 40 fois supérieurs à ceux des hommes à peau claire. L’étude a également trouvé que tous les systèmes avaient des taux d’erreur plus élevés pour les femmes que pour les hommes, et des taux plus élevés pour les peaux foncées que pour les peaux claires, les femmes à peau foncée supportant la double peine.

L’analyse de Buolamwini et Gebru révèle les causes structurelles de ces biais. Premièrement, les jeux de données de référence utilisés pour entraîner ces systèmes étaient gravement biaisés en termes de représentation, constitués principalement d’images d’hommes à peau claire. Deuxièmement, la classification du genre dans la technologie de reconnaissance faciale repose souvent sur des cadres binaires du genre, ignorant l’existence des personnes transgenres et non-binaires. Troisièmement, le développement de systèmes commerciaux manquait de compréhension de l’intersectionnalité—c’est-à-dire comment les discriminations raciales et sexuelles s’entrecroisent pour produire des impacts uniques.

Les contributions méthodologiques de cet article sont également significatives. Les chercheuses ont proposé un cadre d’« audit intersectionnel », soulignant que les systèmes d’IA doivent être évalués simultanément sur plusieurs dimensions identitaires plutôt que de les traiter isolément. Cette innovation méthodologique a jeté les bases de nombreuses études ultérieures, poussant l’évaluation de l’équité algorithmique de simples métriques « d’exactitude » vers des métriques multidimensionnelles « d’équité ».

« Gender Shades » a eu un impact social énorme après sa publication. En 2018, cette recherche a directement conduit IBM, Microsoft et Amazon à annoncer des pauses ou des restrictions sur la vente de technologies de reconnaissance faciale aux forces de l’ordre. Le Congrès américain a tenu des audiences sur la responsabilité algorithmique, plusieurs sénateurs citant les conclusions de cette étude. Le projet de loi européen sur l’IA a également classé la reconnaissance faciale comme une application « à haut risque » nécessitant des évaluations rigoureuses d’équité.

Dans le monde académique, cet article a ouvert la voie au domaine de recherche émergent de la « justice algorithmique ». Il a inspiré des centaines d’études ultérieures couvrant les algorithmes d’embauche, les évaluations de risque en justice pénale, l’IA de diagnostic médical et d’autres domaines d’application. Les travaux ultérieurs des chercheuses, y compris le court métrage documentaire « Gender Shades » de Buolamwini et la critique de Gebru sur les coûts environnementaux des grands modèles de langage, continuent d’alimenter la discussion publique sur l’éthique de l’IA.

Dans le contexte contemporain, l’importance de cette recherche n’a fait que croître. Avec la prolifération de l’IA générative (comme ChatGPT, DALL-E), le biais algorithmique s’est étendu de la « reconnaissance inexacte » à la « génération de contenu nuisible ». De la reconnaissance faciale à la génération de texte, de la synthèse d’images à la synthèse vocale, les biais des systèmes d’IA sont partout. « Gender Shades » nous rappelle que le progrès technologique n’entraîne pas automatiquement le progrès social—si nous ne traitons pas consciemment les biais dans les algorithmes, les systèmes d’IA deviendront des amplificateurs des inégalités sociales existantes plutôt que des éliminateurs.

Comme Buolamwini et Gebru le soulignent, « si les entreprises commerciales veulent construire des algorithmes d’analyse faciale véritablement équitables, transparents et responsables, une attention urgente doit être portée à ces disparités substantielles d’exactitude ». Ce n’est pas simplement une question technique mais une question de savoir de quelle technologie sert qui. Dans une société de plus en plus médiatisée par les algorithmes, cette recherche fournit une perspective cruciale : l’« objectivité » de la technologie n’est souvent qu’un déguisement pour les relations de pouvoir, et exposer ces déguisements est le premier pas vers la justice technologique.