Des employés de Nvidia ont alerté le PDG sur la menace que l'IA ferait peser sur les minorités
Des chercheurs de l'université de Stanford ont mis en évidence les biais des grands modèles de langage, et ont établi la différence entre les opinions humaines et celles de l'IA
Dans le monde moderne d'aujourd'hui, notre dépendance à l'égard des technologies de l'internet est devenue primordiale. L'accès au monde en ligne est devenu essentiel pour mener une vie confortable. Dans ce paysage technologique, les modèles d'IA (intelligence artificielle) ont récemment gagné une immense popularité. Toutefois, il est essentiel de reconnaître que les machines, y compris les modèles d'IA, ont toujours besoin de l'implication humaine pour fonctionner efficacement. Ainsi, le fait de dépendre entièrement des modèles d'IA peut conduire à des erreurs d'orientation, compte tenu de leur dépendance à l'égard de divers grands modèles de langage (LLM).
Récemment, des chercheurs de l'université de Stanford ont mené une étude qui met en lumière les biais inhérents aux modèles linguistiques tels que ChatGPT et leur divergence par rapport aux points de vue des différents groupes démographiques américains. L'étude révèle que ces modèles ont souvent tendance à sous-représenter certains groupes, tout en amplifiant les opinions dominantes des autres. Par conséquent, ces modèles ne parviennent pas à représenter avec précision les nuances et les variations des opinions humaines.
Une approche appelée OpinionQA a été créée par l'équipe de l'étude sous la direction de Shibani Santurkar, ancien chercheur postdoctoral à Stanford, afin d'évaluer la partialité des modèles de langage. Pour mesurer dans quelle mesure ces modèles reflètent les opinions de divers segments démographiques, OpinionQA compare leurs propensions à celles relevées dans les sondages d'opinion.
Selon les auteurs de l'étude :
Bien qu'il semble que les modèles de langage, qui prévoient des séquences de mots à partir de textes existants, représentent naturellement le consensus général, M. Santurkar identifie deux raisons principales à leur partialité. Premièrement, les modèles mis à jour ont été améliorés grâce aux informations recueillies par les entreprises à partir de commentaires humains. Ces annotateurs, qui sont employés par les entreprises, classent les compléments de modèle comme "bons" ou "mauvais", ce qui peut entraîner un biais car leurs jugements, voire ceux de leurs employeurs, peuvent affecter les modèles.Les modèles linguistiques (ML) sont de plus en plus utilisés dans des contextes ouverts, où les opinions reflétées par les ML en réponse à des requêtes subjectives peuvent avoir un impact profond, à la fois sur la satisfaction de l'utilisateur et sur le façonnement des opinions de la société dans son ensemble. Dans ce travail, nous proposons un cadre quantitatif pour étudier les opinions reflétées par les ML - en tirant parti de sondages d'opinion publique de grande qualité et des réponses humaines qui y sont associées. Grâce à ce cadre, nous créons OpinionsQA, un nouvel ensemble de données permettant d'évaluer l'alignement des opinions des ML sur celles de 60 groupes démographiques américains sur des sujets allant de l'avortement à l'automatisation. Pour l'ensemble des sujets, nous constatons un décalage important entre les opinions reflétées par les ML actuels et celles des groupes démographiques américains : un décalage comparable à celui qui existe entre les Démocrates et les Républicains sur le changement climatique. Notamment, ce décalage persiste même après avoir explicitement orienté les ML vers des groupes démographiques particuliers. Notre analyse ne confirme pas seulement les observations antérieures sur les tendances à gauche de certains ML à rétroaction humaine, mais elle met également en évidence des groupes dont les opinions sont mal reflétées par les ML actuels (par exemple, les personnes âgées de 65 ans et plus et les veufs et veuves). Notre code et nos données sont disponibles à cette URL https.
L'étude illustre ce biais en montrant comment les modèles les plus récents indiquent que le président Joe Biden bénéficie d'un soutien supérieur à 99 %, alors que les sondages d'opinion montrent une image moins nette. En outre, les chercheurs ont découvert que les données d'entraînement présentaient une sous-représentation de plusieurs groupes, notamment les mormons, les veuves et les personnes âgées de plus de 65 ans. Pour accroître leur crédibilité, les auteurs affirment que les modèles linguistiques devraient saisir avec plus de précision les subtilités, la complexité et les différences plus spécifiques de l'opinion publique.
En outre, l'équipe de l'étude a utilisé les American Trends Panels (ATP) de l'étude Pew, un sondage d'opinion approfondi qui couvre un large éventail de questions, pour évaluer les modèles. OpinionQA a évalué les distributions d'opinion des modèles linguistiques par rapport à l'ensemble de la population américaine et à au moins 60 groupes démographiques différents identifiés par l'ATP.
Trois mesures importantes de l'alignement des opinions sont calculées par OpinionQA. Premièrement, la représentativité d'un modèle linguistique est évaluée par rapport à l'ensemble de la population et aux 60 groupes démographiques. Deuxièmement, la capacité d'orientation évalue dans quelle mesure le modèle peut, lorsqu'on le lui demande, refléter les opinions de sous-groupes particuliers. Enfin, la cohérence mesure la constance des croyances du modèle dans le temps et sur différents sujets.
Enfin, les conclusions générales de l'étude montrent qu'en fonction de variables telles que l'argent, l'âge et l'éducation, il existe des différences considérables dans les inclinations politiques et autres opinions. Les modèles élaborés principalement à partir de données en ligne présentent souvent des biais en faveur des points de vue conservateurs, des classes inférieures ou des personnes moins éduquées. Les modèles plus récents, qui ont été améliorés grâce à la curation des commentaires humains, en revanche, présentent souvent des biais en faveur des publics libéraux, bien éduqués et riches.
Santurkar souligne que l'étude ne catégorise pas chaque biais comme intrinsèquement bon ou mauvais, mais tente plutôt de sensibiliser les développeurs et les consommateurs à la présence de ces biais. L'ensemble de données OpinionQA devrait être utilisé pour découvrir et mesurer les décalages entre les modèles linguistiques et l'opinion humaine, conseillent les chercheurs, plutôt que comme un point de référence pour l'optimisation. Ils espèrent qu'en rapprochant les modèles linguistiques de la perception du public, cette étude encouragera une discussion plus large entre les experts dans ce domaine.
Source : Article de recherche intitulé "Whose Opinions Do Language Models Reflect?"
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Répondre avec citation
Partager