Des chercheurs en IA améliorent la méthode permettant de supprimer les préjugés sexistes dans l'IA

Des chercheurs en IA améliorent la méthode permettant de supprimer les préjugés sexistes dans les systèmes conçus pour comprendre et répondre aux données textuelles ou vocales
selon une étude

Des chercheurs de l'université de l’Alberta ont récemment publié une étude dans lequel ils estiment avoir franchi une étape importante dans la résolution du problème des biais de genre qui se glissent dans l'intelligence artificielle (IA). Pour cela, ils proposent une nouvelle méthodologie qui s'appuie sur un cadre d'inférence causale. La méthode proposée aurait permis d'obtenir des résultats efficaces dans les tâches de suppression des préjugés sexistes. En outre, ils affirment que leur méthode donne de meilleures performances dans l'évaluation de la similarité des mots et dans diverses tâches extrinsèques de traitement automatique des langues.

Avec le déploiement croissant du traitement du langage naturel (NLP) dans la vie quotidienne, les biais sociaux hérités des modèles NLP sont devenus plus graves et problématiques. Des études antérieures ont montré que les incorporations de mots formées sur des corpus générés par des humains ont de forts biais de genre qui peuvent produire des résultats discriminants dans des tâches en aval. En 2016, l'IA Tay de Microsoft a mis moins de 24 heures pour se transformer en bigot de droite sur Twitter, publiant des tweets racistes et misogynes et faisant l'éloge d'Adolf Hitler. La récente IA BlenderBot 3 de Meta a subi le même sort.

Selon la nouvelle étude, les précédentes méthodes de suppression des biais se concentraient principalement sur la modélisation des biais et ne considèrent qu'implicitement les informations sémantiques, tout en négligeant complètement la structure causale sous-jacente complexe entre les biais et les composants sémantiques. L'étude propose une méthodologie qui s'appuie sur un cadre d'inférence causale pour éliminer les biais. La méthode permettrait de construire et d'analyser les mécanismes causaux complexes facilitant le flux d'informations sur le genre tout en conservant les informations sémantiques dans les incorporations de mots.

Pièce jointe 625176

L'étude note que bien qu'un certain nombre d'autres tentatives visant à réduire ou à supprimer les préjugés sexistes dans les textes aient connu un certain succès, le problème de ces approches est que les préjugés sexistes ne sont pas les seuls à être supprimés des textes. « Dans de nombreuses méthodes de suppression des biais du genre, lorsqu'elles réduisent le biais de genre dans un vecteur de mots, elles réduisent ou éliminent également des informations importantes sur le mot », explique Bei Jiang, professeur associé au département des sciences mathématiques et statistiques de l'université de l’Alberta, au Canada.

Selon les chercheurs, ce type d'information est connu sous le nom d'information sémantique, et il offrirait des données contextuelles importantes qui pourraient être nécessaires dans des tâches futures impliquant ces incorporations de mots. Par exemple, si l'on considère un mot comme "infirmière", les chercheurs veulent que le système supprime toute information sur le genre associé à ce terme, tout en conservant les informations qui le relient à des mots connexes tels que "médecin", "hôpital" et "médecine". « Nous devons préserver ces informations sémantiques », explique Lei Ding, l'auteur principal de l'étude.

« Sans elles, les incorporations auraient de très mauvaises performances [dans les tâches et systèmes de traitement du langage naturel] », a-t-il ajouté. Le rapport de l'étude indique que la nouvelle méthode a également obtenu de meilleurs résultats que les principales méthodes de suppression des biais dans diverses tâches évaluées sur la base de l'incorporation des mots. Selon les chercheurs, au fur et à mesure de son perfectionnement, la méthodologie pourrait offrir un cadre flexible que d'autres chercheurs pourraient appliquer à leurs propres incorporations de mots.

Le rapport note que tant qu'un chercheur dispose de conseils sur le bon groupe de mots à utiliser, la méthodologie pourrait être utilisée pour réduire les biais liés à un groupe particulier. Si, à ce stade, la méthodologie nécessite encore l'intervention du chercheur, Ding explique qu'à l'avenir, il pourrait être possible de disposer d'une sorte de système ou de filtre intégré capable de supprimer automatiquement les préjugés sexistes dans divers contextes. La nouvelle méthodologie ferait partie d'un projet plus vaste, intitulé "BIAS : Responsible AI for Gender and Ethnic Labor Market Equality", qui vise à résoudre des problèmes du monde réel.

Par exemple, les personnes qui lisent la même offre d'emploi peuvent réagir différemment à certains mots de la description qui sont souvent associés à un sexe. Un système utilisant la méthodologie créée par Ding et ses collaborateurs pourrait être en mesure de signaler les mots susceptibles de modifier la perception du poste par un candidat potentiel ou sa décision de postuler en raison d'un préjugé sexiste, et de suggérer d'autres mots pour réduire ce préjugé. Cependant, les biais de genre sont-ils intrinsèquement négatifs et faut-il les supprimer des modèles de traitement du langage naturel ?

Selon certains critiques, ce n'est pas le cas. Ils pensent que dans un environnement de recherche, les préjugés peuvent donner des informations cruciales sur la pensée humaine et les modèles d'apprentissage des IA. Toutefois, l'IA n'est pas seulement présente dans la recherche. Elle est de plus en plus utilisée dans les interactions humaines quotidiennes. Ces IA étant formées principalement dans des conversations informelles sur Internet, elles ont tendance à devenir assez bigotes. En outre, ils estiment que les filtres et les méthodes de suppressions de biais ne fonctionneront pas, car, comme les humains, les IA trouveront des moyens de les contourner.

D'après Carlien Scheele, directrice de l'Institut européen pour l'égalité entre les hommes et les femmes, les femmes représentent plus de la moitié de la population européenne, mais seulement 16 % des travailleurs de l'IA. Scheele estime que tant que l'IA ne reflétera pas la diversité de la société, elle "causera plus de problèmes qu'elle n'en résoudra", ajoutant qu'en matière d'IA, une représentation limitée conduit à la création d'ensembles de données comportant des biais intrinsèques susceptibles de perpétuer les stéréotypes liés au sexe. D'autres appellent à la diversité dans le développement de l'IA.

Abby Seneor, directrice de la technologie de la plateforme espagnole de données sociales Citibeats, affirme qu'il est crucial d'accroître la diversité des personnes travaillant dans le domaine de l'IA, car lorsque des systèmes d'IA sont développés, un humain "décide si le résultat de cet algorithme est bon ou mauvais, et cela dépend uniquement de l'ingénieur". « La participation de personnes possédant non seulement les bonnes qualifications, mais qui sont également capables d'identifier les préjugés, est donc essentielle », dit-elle. Un autre moyen de lutter contre les biais de l'IA consisterait à partager les modèles d'IA avec d'autres.

Si, par exemple, une équipe développe un modèle d'IA pour scanner des photos et identifier le sexe des personnes, elle peut se trouver limitée par le fait qu'elle ne travaille que dans une partie du monde. Mais en partageant leur modèle avec des personnes et organisations situées ailleurs (ou en le rendant open source), ils peuvent le tester en utilisant des images d'un plus grand nombre de sujets humains, ce qui contribue à l'efficacité du modèle d'IA.

Source : Rapport de l'étude

Et vous ?

:fleche: Quel est votre avis sur le sujet ?
:fleche: Que pensez-vous de la nouvelle méthode proposée par les chercheurs pour supprimer les biais de genre ?
:fleche: Selon vous, faut-il supprimer les préjugés sexistes dans les modèles d'IA ? Pourquoi ?
:fleche: Est-il possible de s'en débarrasser complètement ? Si oui, quelles sont les approches que vous proposez ?

Voir aussi

:fleche: Les robots peuvent devenir racistes et sexistes lorsqu'ils sont construits avec une IA défectueuse, prévient une nouvelle étude

:fleche: Facebook s'excuse après que son IA ait mal étiqueté une vidéo d'hommes noirs en les qualifiant de « primates », la FTC averti que les outils impliquant des IA peuvent être en violation des lois

:fleche: La maison de disque Capitol Records est contraint d'abandonner son rappeur virtuel, FN Meka, créé par une intelligence artificielle, suite à des réactions négatives dues à des "stéréotypes grossiers"

:fleche: Google dévoile son IA génératrice d'images par le texte baptisée Imagen et affirme qu'elle est meilleure que DALL-E 2 d'OpenAI