Gender Shades : Disparités d'exactitude intersectionnelles dans la classification commerciale du genre

Joy Buolamwini et Timnit Gebru demandent en 2018 si une bonne exactitude globale peut masquer des erreurs concentrées sur certains groupes. Leur objet est la classification commerciale du genre à partir d’images faciales, et non l’identification d’une personne ou l’évaluation de tous les usages de la reconnaissance faciale. Cette distinction permet de montrer une répartition inégale des erreurs sans attribuer un résultat expérimental à tous les dispositifs de surveillance.

Construire un test capable de voir les différences

Les chercheuses examinent la composition d’IJB-A et d’Adience et créent le Pilot Parliaments Benchmark, ou PPB, comprenant 1 270 parlementaires de six pays africains et européens. Les portraits permettent d’identifier des personnalités publiques dans des conditions relativement contrôlées. Ce choix améliore la représentation dans le test ; il ne rend pas l’échantillon représentatif de toutes les populations, conditions photographiques ou situations sociales.

Les sections 3.4–3.5 et le tableau 3 de l’original regroupent les types de peau Fitzpatrick I–III comme clairs et IV–VI comme foncés, puis les croisent avec les étiquettes de femmes et d’hommes perçus. Ces étiquettes suivent les sorties binaires des systèmes commerciaux ; les autrices reconnaissent explicitement qu’elles ne rendent pas compte de la complexité du genre ni des identités transgenres. L’intervention d’une dermatologue dans l’annotation de la peau ne transforme pas le genre en fait biologique lisible sur un visage.

La moyenne ne distribue pas également la fiabilité

L’audit porte sur des classificateurs de Microsoft, IBM et Face++. Les sujets féminins à peau foncée présentent les taux d’erreur les plus élevés dans chaque système, de 20,8 à 34,7 % ; le taux maximal pour les sujets masculins à peau claire est de 0,8 %. Ces chiffres concernent les systèmes, versions, images et groupes du test, pas les performances actuelles de toute IA. Présenter séparément les résultats des femmes ou des personnes à peau foncée peut encore masquer la configuration intersectionnelle.

La contribution féministe est donc méthodologique autant que numérique. Qui disparaît dans la moyenne ? Quel visage définit la performance ordinaire ? Quels échecs deviennent des exceptions négligeables ? L’évaluation par sous-groupes rend contestables les promesses de fiabilité universelle. Elle montre aussi qu’agrandir un jeu de données ne suffit pas : sa distribution, son annotation et ses modalités de test comptent.

Mieux classer ne justifie pas nécessairement de classer

Le benchmark a ses limites. Les portraits officiels sont plus contrôlés que beaucoup d’images de rue ; estimer le type de peau depuis une photographie introduit une incertitude. Réduire six types à deux groupes facilite la comparaison tout en comprimant les différences internes. Ces limites n’annulent pas les écarts observés, mais empêchent de traiter les catégories expérimentales comme une explication exhaustive des corps et des identités sociales.

Une autre question demeure : même plus exact, un classificateur peut être injustifié si les personnes ne peuvent ni refuser le classement ni contester ses usages. L’étude ne décide pas seule de la légitimité d’un déploiement institutionnel. Sa publication en 2018 ne prouve pas non plus la date ou les causes de restrictions ultérieures des ventes aux forces de l’ordre. Résultats scientifiques, mobilisation et décisions commerciales nécessitent des preuves distinctes.

Le discours public de Buolamwini offre une entrée accessible dans cette expérience ; Féminisme des données élargit l’analyse au pouvoir, au contexte et au travail. Design Justice demande ensuite qui peut modifier le système. Ces rapprochements maintiennent deux questions ensemble : qui supporte les erreurs, et qui possède d’abord l’autorité de classer les personnes ?