Comment mettre fin aux préjugés sexistes dans les algorithmes Internet

Algorithmes (2022). DOI : 10.3390/a15090303″ width=”800″ height=”530″/>

Des chapes sans fin ont été écrites pour savoir si les algorithmes Internet avec lesquels nous interagissons constamment souffrent de préjugés sexistes, et tout ce que vous avez à faire est d’effectuer une simple recherche pour le voir par vous-même.

Cependant, selon les chercheurs à l’origine d’une nouvelle étude qui cherche à tirer une conclusion à ce sujet, “jusqu’à présent, le débat n’a inclus aucune analyse scientifique”. Ce nouvel article, rédigé par une équipe interdisciplinaire, propose une nouvelle manière d’aborder la question et propose des solutions pour prévenir ces déviances dans les données et les discriminations qu’elles entraînent.

Les algorithmes sont de plus en plus utilisés pour décider d’accorder un prêt ou d’accepter des demandes. À mesure que l’éventail des utilisations de l’intelligence artificielle (IA) augmente, que ses capacités et son importance augmentent, il devient de plus en plus essentiel d’évaluer les éventuels préjugés associés à ces opérations.

“Bien que ce ne soit pas un nouveau concept, il existe de nombreux cas dans lesquels ce problème n’a pas été examiné, ignorant ainsi les conséquences potentielles”, ont déclaré les chercheurs, dont l’étude, publiée en libre accès dans le Algorithmes journal, axé principalement sur les préjugés sexistes dans les différents domaines de l’IA.

De tels préjugés peuvent avoir un impact énorme sur la société : « Les préjugés affectent tout ce qui est discriminé, exclu ou associé à un stéréotype. Par exemple, un sexe ou une race peut être exclu dans un processus de prise de décision ou, tout simplement, certains comportements peuvent être supposé en raison de son sexe ou de la couleur de sa peau », a expliqué la chercheuse principale de la recherche, Juliana Castañeda Jiménez, doctorante industrielle à l’Universitat Oberta de Catalunya (UOC) sous la direction d’Ángel A. Juan, du Universitat Politècnica de València, et Javier Panadero, de l’Universitat Politècnica de Catalunya.

Selon Castañeda, “il est possible que les processus algorithmiques discriminent en raison du sexe, même lorsqu’ils sont programmés pour être” aveugles “à cette variable”.

L’équipe de recherche, qui comprend également les chercheurs Milagros Sáinz et Sergi Yanes, tous deux du groupe de recherche sur le genre et les TIC (GenTIC) de l’Institut interdisciplinaire Internet (IN3), Laura Calvet, de l’École universitaire salésienne de Sarrià, Assumpta Jover, du Universitat de València et Ángel A. Juan — illustrent cela par plusieurs exemples : le cas d’un outil de recrutement bien connu qui préférait les candidatures masculines aux candidatures féminines, ou celui de certains services de crédit qui offraient des conditions moins favorables aux femmes qu’aux hommes .

“Si des données anciennes et déséquilibrées sont utilisées, vous constaterez probablement un conditionnement négatif en ce qui concerne la démographie noire, gay et même féminine, selon le moment et l’origine des données”, a expliqué Castañeda.

Les sciences sont pour les garçons et les arts sont pour les filles

Pour comprendre comment ces modèles affectent les différents algorithmes avec lesquels nous traitons, les chercheurs ont analysé des travaux antérieurs qui identifiaient des biais sexistes dans les processus de données dans quatre types d’IA : ceux qui décrivent des applications dans le traitement et la génération du langage naturel, la gestion des décisions, la reconnaissance vocale et la reconnaissance faciale. reconnaissance.

En général, ils ont constaté que tous les algorithmes identifiaient et classaient mieux les hommes blancs. Ils ont également constaté qu’ils reproduisaient de fausses croyances sur les attributs physiques qui devraient définir une personne en fonction de son sexe biologique, de son origine ethnique ou culturelle ou de son orientation sexuelle, et qu’ils faisaient également des associations stéréotypées liant les hommes aux sciences et les femmes aux arts.

De nombreuses procédures utilisées dans la reconnaissance d’images et de voix sont également basées sur ces stéréotypes : les caméras reconnaissent plus facilement les visages blancs et l’analyse audio a des problèmes avec les voix plus aiguës, affectant principalement les femmes.

Les cas les plus susceptibles de souffrir de ces problèmes sont ceux dont les algorithmes sont construits sur la base de l’analyse de données réelles associées à un contexte social spécifique. “Certaines des principales causes sont la sous-représentation des femmes dans la conception et le développement de produits et services d’IA, et l’utilisation d’ensembles de données avec des préjugés sexistes”, a noté le chercheur, qui a fait valoir que le problème découle de l’environnement culturel dans lequel ils sont développés.

“Un algorithme, lorsqu’il est formé avec des données biaisées, peut détecter des modèles cachés dans la société et, lorsqu’il fonctionne, les reproduire. Donc, si, dans la société, les hommes et les femmes ont une représentation inégale, la conception et le développement de produits et services d’IA montreront des préjugés sexistes. .”

Comment pouvons-nous mettre un terme à cela?

Les nombreuses sources de préjugés sexistes, ainsi que les particularités de chaque type d’algorithme et d’ensemble de données, signifient que supprimer cet écart est un défi très difficile, mais pas impossible.

“Les concepteurs et toutes les autres personnes impliquées dans leur conception doivent être informés de la possibilité de l’existence de biais associés à la logique d’un algorithme. De plus, ils doivent comprendre les mesures disponibles pour minimiser, autant que possible, les biais potentiels, et mettre en œuvre afin qu’ils ne se produisent pas, car s’ils sont conscients des types de discriminations qui se produisent dans la société, ils seront en mesure d’identifier quand les solutions qu’ils développent les reproduisent », a suggéré Castañeda.

Ce travail est innovant car il a été réalisé par des spécialistes de différents domaines, dont un sociologue, un anthropologue et des experts en genre et en statistiques. “Les membres de l’équipe ont fourni une perspective qui allait au-delà des mathématiques autonomes associées aux algorithmes, nous aidant ainsi à les considérer comme des systèmes socio-techniques complexes”, a déclaré le chercheur principal de l’étude.

“Si vous comparez ce travail avec d’autres, je pense que c’est l’un des rares à présenter le problème des biais dans les algorithmes d’un point de vue neutre, en soulignant à la fois les aspects sociaux et techniques pour identifier pourquoi un algorithme pourrait prendre une décision biaisée”, a-t-elle ajouté. conclu.

Fourni par Universitat Oberta de Catalunya (UOC)