IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    mars 2013
    Messages
    7 301
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : mars 2013
    Messages : 7 301
    Points : 175 408
    Points
    175 408
    Par défaut Les modèles d'IA restent racistes, même avec une formation plus équilibrées, selon un rapport du NIST
    L'IA de YouTube a bloqué par erreur des chaînes d'échecs après avoir pris des expressions comme "noir contre blanc"
    pour des incitations à la haine

    Les discussions en ligne sur les pièces d'échecs en noir et blanc déroutent les algorithmes d'intelligence artificielle formés pour détecter le racisme et autres discours de haine, selon de nouvelles recherches.

    Les informaticiens de l'Université Carnegie Mellon ont commencé à enquêter sur le problème de l'IA après qu'une chaîne d'échecs populaire sur YouTube a été bloquée pour contenu « nuisible et dangereux » en juin dernier.

    Le joueur d'échecs croate Antonio Radic, qui répond au pseudonyme Agadmator en ligne, héberge la chaîne d'échecs YouTube la plus populaire au monde, avec plus d'un million d'abonnés.

    Le 28 juin 2020, Radic a été bloqué de YouTube lors de la présentation d'un spectacle d'échecs avec le grand maître Hikaru Nakamura, bien qu'aucune raison spécifique n'ait été donnée par la plateforme vidéo appartenant à Google. La chaîne de Radic a été rétablie après 24 heures, ce qui a amené le champion d'échecs à spéculer qu'il avait été temporairement banni pour avoir parlé de « noir contre blanc », alors qu'il faisait référence à la couleur des pions du jeu d'échecs à l'époque.

    Le système de modération de YouTube repose à la fois sur les humains et sur des algorithmes d'IA, ce qui signifie que tout système d'IA pourrait mal interpréter les commentaires s'il n'est pas correctement formé pour comprendre le contexte.

    « S'ils s'appuient sur l'intelligence artificielle pour détecter un langage raciste, ce type d'accident peut se produire », a déclaré Ashiqur KhudaBukhsh, scientifique du projet au Language Technologies Institute de la CMU.

    KhudaBukhsh a testé cette théorie en utilisant un classificateur de discours de pointe pour filtrer plus de 680 000 commentaires recueillis sur cinq chaînes YouTube populaires axées sur les échecs.

    Après avoir examiné manuellement une sélection de 1000 commentaires qui avaient été classés par l'IA comme discours de haine, ils ont constaté que 82 % d'entre eux avaient été mal classés en raison de l'utilisation de mots tels que « noir », « blanc », « attaque » et « menace », mots qui sont tous couramment utilisés dans le jargon des échecs.

    Le document a été présenté ce mois-ci lors de la conférence annuelle de l'Association for the Advancement of AI.

    Une situation qui pourrait être exacerbée au nom de l'inclusion ?

    De façon générale, l’expression « liste blanche » définit un ensemble d’entités auquel on attribue le niveau de liberté ou de confiance le plus élevé dans un système donné. Pour emprunter au jargon utilisé en électronique numérique, elle est complémentaire (au sens de complément à 1) à celle de « liste noire. » En informatique, toute entité ne figurant pas sur la liste dite blanche se verra alors refuser certains accès ou certaines possibilités ; c’est de façon basique la même chose que de dire que toute entité figurant sur la liste dite noire ne bénéficie pas de certains accès ou certaines possibilités.

    C’est en principe la compréhension que les tiers qui travaillent dans la filière informatique ou qui ont flirté avec cette dernière ont de ces notions.

    Pourtant, une publication de l’agence britannique de cybersécurité vient étendre la compréhension qu’on en avait déjà. À la demande d’un de ses clients formulée en 2020, cette dernière a décidé de ne plus faire usage de ces expressions.

    « Il est assez courant de dire liste blanche et liste noire pour décrire les choses souhaitables et indésirables en matière de cybersécurité », explique le National Cyber Security Centre (NCSC). « Cependant, il y a un problème avec la terminologie. Cela n'a de sens que si vous assimilez le blanc à "bon, autorisé, sûr" et le noir à "mauvais, dangereux, interdit". Cela pose des problèmes évidents. Ainsi, au nom de la lutte contre le racisme dans le domaine de la cybersécurité, nous éviterons à l'avenir cette formulation péjorative et désinvolte sur notre site web. Non, ce n'est pas le plus grand problème au monde ; mais pour emprunter à un slogan venu d'ailleurs : chaque petit geste compte.Vous ne voyez peut-être pas en quoi cela est important. Si vous n'êtes pas affecté par les stéréotypes raciaux, alors estimez-vous chanceux. Pour certains de vos collègues (et futurs collègues potentiels) par contre, c'est vraiment un changement qui vaut la peine », ajoute-t-il. À la place, le NCSC va utiliser les expressions « liste d'autorisation » et « liste de refus », plus claires, moins ambiguës et surtout plus inclusives.

    Nom : white.png
Affichages : 32299
Taille : 132,9 Ko

    Ce sont des développements qui ne sont pas sans faire penser à de similaires sur la liste de diffusion de bogues du navigateur open source Chromium. À la requête d’un ingénieur de Microsoft, ceux de Google ont, l’an passé, accepté d’arrêter d’utiliser les expressions « liste blanche » et « liste noire ».

    Parlant d'autres expressions, les développeurs de la base de données MySQL ont annoncé leur intention de cesser d'utiliser et de remplacer des termes tels que master, slave, blacklist et whitelist dans le code source et la documentation de la base de données. Dans un billet de blog, l’équipe Oracle MySQL a expliqué :

    « Cela fait 20 ans que la réplication MySQL a été introduite dans MySQL 3.23.15 (sortie en mai 2000). Depuis lors, pratiquement tous les déploiements de bases de données MySQL en production utilisent la réplication afin d'atteindre une haute disponibilité, une reprise après sinistre, une évolutivité en lecture et divers autres objectifs.

    « Quiconque utilise la réplication MySQL connaît les termes : ‘master’ et ‘slave’. Les origines de ces mots sont négatives. C’est clair. Chez MySQL, nous avons pris la décision de changer cette terminologie. Déjà, beaucoup d'entre nous ont changé la façon dont nous nous référons à ces rôles dans les billets de blog et les présentations – en utilisant généralement des termes comme ‘primaire’, ‘secondaire’, ‘source’ et ‘réplique’. Nous avons maintenant commencé le processus de modification de la syntaxe MySQL dans notre code source et notre documentation pour faire correspondre tout cela ».

    Une alternative envisagée pour les termes « master » et « slave » était donc « primaire » et « secondaire », mais les développeurs MySQL ont abandonné les deux pour des raisons de précision technique étant donné que les derniers produits (MySQL Group Replication, MySQL InnoDB Cluster, MySQL InnoDB ReplicaSet) reposent déjà sur l'utilisation de ces termes pour définir les différents rôles que les serveurs peuvent avoir dans l'architecture de base de données.

    En 2018, l’équipe du projet Python s’est engagée sur une voie similaire. Au nom de l’inclusion, elle s’était lancée dans le processus de suppression des termes « master » et « slave » de sa documentation et de sa base de code. Elle rejoignait d’autres comme Django (2014), CouchDB (2014), Drupal (2014) et Redis (2017). Selon le projet, la paire "master/slave" s’était vu remplacée par des terminologies comme "leader/follower" ou "primary/replica". Dans le cas de Python, l'initiateur de la manœuvre est Victor Stinner, un développeur travaillant pour Red Hat. Il a publié cinq pull requests, ciblant plusieurs domaines, pour changer "master" et "slave" dans la documentation et le code Python par des termes comme "parent", "worker", "child" ou autres termes similaires.

    « Le mot "slave" a des connotations négatives (bien que cela puisse ou non être pertinent dans la dénomination d'un terme technique), y compris l'histoire de l'esclavage sur plusieurs siècles au bénéfice des puissances coloniales européennes, les travailleurs pénitentiaires aujourd'hui forcés de travailler dans des conditions parfois similaires à l'esclavage, les jeunes filles vendues dans l'esclavage sexuel dans de nombreuses régions du monde aujourd'hui », expliquait le projet Drupal. La connotation sexiste de ces termes avait particulièrement été citée lorsque la question était débattue pour le projet Django. Une ingénieure DevOps s'était en effet plainte que ses collègues lui faisaient souvent des blagues en utilisant les termes "master" et "slave".

    Source : conférence annuelle de l'Association for the Advancement of AI

    Et vous ?

    Quelle lecture faites-vous de cette situation ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Membre actif
    Profil pro
    Inscrit en
    mars 2012
    Messages
    76
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : mars 2012
    Messages : 76
    Points : 265
    Points
    265
    Par défaut
    Les échecs ce jeu raciste noir contre blanc, mysogyne avec un roi supérieur à la reine méprisant avec les pions vite qu'il disparaisse de l'histoire

  3. #3
    Membre du Club
    Femme Profil pro
    Développeur Java
    Inscrit en
    septembre 2014
    Messages
    26
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Andorre

    Informations professionnelles :
    Activité : Développeur Java

    Informations forums :
    Inscription : septembre 2014
    Messages : 26
    Points : 69
    Points
    69
    Par défaut
    Les délires des gauchistes névrosés n'ont pas de limites et entraînent le monde à sa ruine. Ce qui s'est passé en URSS se reproduit en occident sous nos yeux. Un monde totalitaire se construit avec des outils beaucoup plus performants que ceux de l'URSS.

  4. #4
    Membre extrêmement actif
    Avatar de Ryu2000
    Homme Profil pro
    Étudiant
    Inscrit en
    décembre 2008
    Messages
    8 928
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 34
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : décembre 2008
    Messages : 8 928
    Points : 17 309
    Points
    17 309
    Par défaut
    Citation Envoyé par ormond94470 Voir le message
    mysogyne avec un roi supérieur à la reine
    En réalité la reine est beaucoup plus forte que le roi. Le roi ne peut se déplacer que d'une case.

    Citation Envoyé par ormond94470 Voir le message
    méprisant avec les pions vite qu'il disparaisse de l'histoire
    En fait un pion peut devenir un cavalier, un fou, une tour, une reine. Ce qui est vraiment cool, il n'y pas d'histoire de caste, ça fonctionne au mérite.
    Les pions ne disparaissent pas forcément plus vite que les autres pièces.

    Citation Envoyé par Stéphane le calme Voir le message
    « Il est assez courant de dire liste blanche et liste noire pour décrire les choses souhaitables et indésirables en matière de cybersécurité », explique le National Cyber Security Centre (NCSC). « Cependant, il y a un problème avec la terminologie. Cela n'a de sens que si vous assimilez le blanc à "bon, autorisé, sûr" et le noir à "mauvais, dangereux, interdit". Cela pose des problèmes évidents. Ainsi, au nom de la lutte contre le racisme dans le domaine de la cybersécurité, nous éviterons à l'avenir cette formulation péjorative et désinvolte sur notre site web. Non, ce n'est pas le plus grand problème au monde ; mais pour emprunter à un slogan venu d'ailleurs : chaque petit geste compte.Vous ne voyez peut-être pas en quoi cela est important. Si vous n'êtes pas affecté par les stéréotypes raciaux, alors estimez-vous chanceux. Pour certains de vos collègues (et futurs collègues potentiels) par contre, c'est vraiment un changement qui vaut la peine », ajoute-t-il. À la place, le NCSC va utiliser les expressions « liste d'autorisation » et « liste de refus », plus claires, moins ambiguës et surtout plus inclusives.
    Ce n'est pas en changeant des expressions qu'ils vont diminuer le racisme…
    Il n'y a rien de raciste dans l'expression "liste noire".

    L'IA de YouTube ferait bien de filtrer les contenus pédophiles au lieu de faire la guerre aux termes "blanc" et "noir".
    Keith Flint 1969 - 2019

  5. #5
    Invité
    Invité(e)
    Par défaut
    Une IA a balancé une bombe nucléaire par erreur parce qu'elle a mal compris

  6. #6
    Membre éprouvé
    Homme Profil pro
    retraité
    Inscrit en
    septembre 2014
    Messages
    508
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : septembre 2014
    Messages : 508
    Points : 1 273
    Points
    1 273
    Par défaut
    Citation Envoyé par chinagirl Voir le message
    Les délires des gauchistes névrosés n'ont pas de limites et entraînent le monde à sa ruine. Ce qui s'est passé en URSS se reproduit en occident sous nos yeux. Un monde totalitaire se construit avec des outils beaucoup plus performants que ceux de l'URSS.
    Nous sommes d'accord.
    Tenez, l'expression "broyer du noir" risque bien d'être classée "raciste" un de ces prochains jours.

  7. #7
    Membre éprouvé
    Homme Profil pro
    retraité
    Inscrit en
    septembre 2014
    Messages
    508
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : septembre 2014
    Messages : 508
    Points : 1 273
    Points
    1 273
    Par défaut
    Citation Envoyé par Acheumeuneu Voir le message
    Une IA a balancé une bombe nucléaire par erreur parce qu'elle a mal compris
    On risque un jour d'arriver à cela en effet, à force de mettre de l'IA un peu trop partout.
    Les domaines de prédilections devraient être la science médicale, la découverte de nouvelles sources d'énergies (pas les fariboles EELV genre éoliennes et autres panneaux solaires).

    https://theconversation.com/systemes...icolore-146425

  8. #8
    Membre éprouvé
    Homme Profil pro
    retraité
    Inscrit en
    septembre 2014
    Messages
    508
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : septembre 2014
    Messages : 508
    Points : 1 273
    Points
    1 273
    Par défaut
    Citation Envoyé par Ryu2000 Voir le message
    L'IA de YouTube ferait bien de filtrer les contenus pédophiles au lieu de faire la guerre aux termes "blanc" et "noir".
    Cela montre l'incroyable bêtise de ceux qui ont conçu et mis en place un tel filtrage sans tenir compte du contexte.
    Cela montre à quel point l'humain est bien loin d'être dépassé par ces IA intelligentes comme des bites.

  9. #9
    Membre extrêmement actif
    Avatar de Ryu2000
    Homme Profil pro
    Étudiant
    Inscrit en
    décembre 2008
    Messages
    8 928
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 34
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : décembre 2008
    Messages : 8 928
    Points : 17 309
    Points
    17 309
    Par défaut
    Citation Envoyé par TotoParis Voir le message
    "broyer du noir"
    Il y a également :
    - Avoir les idées noires
    - Travail au noir
    - Écrit noir sur blanc
    - Marée noire
    - Série noire
    - Caisse noire
    - Bête noire
    - Humour noir
    - Magie noire
    - Nuit noire
    - Avoir peur du noir
    - Être noir (saoul)
    - Regard noir
    - Peste noire
    C'est vrai que c'est parfois négatif.
    Keith Flint 1969 - 2019

  10. #10
    Expert éminent sénior
    Profil pro
    Inscrit en
    décembre 2007
    Messages
    6 763
    Détails du profil
    Informations personnelles :
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations forums :
    Inscription : décembre 2007
    Messages : 6 763
    Points : 31 783
    Points
    31 783
    Par défaut
    Le racisme est un réel problème, mais je n'ai pas l'impression que le remède soit mieux que le mal. C'est de la police de la pensée de bas étage.
    Les 4 règles d'airain du développement informatique sont, d'après Michael C. Kasten :
    1)on ne peut pas établir un chiffrage tant qu'on a pas finalisé la conception
    2)on ne peut pas finaliser la conception tant qu'on a pas complètement compris toutes les exigences
    3)le temps de comprendre toutes les exigences, le projet est terminé
    4)le temps de terminer le projet, les exigences ont changé
    Et le serment de non-allégiance :
    Je promets de n’exclure aucune idée sur la base de sa source mais de donner toute la considération nécessaire aux idées de toutes les écoles ou lignes de pensées afin de trouver celle qui est la mieux adaptée à une situation donnée.

  11. #11
    Inactif  

    Profil pro
    Inscrit en
    janvier 2011
    Messages
    3 064
    Détails du profil
    Informations personnelles :
    Localisation : Belgique

    Informations forums :
    Inscription : janvier 2011
    Messages : 3 064
    Points : 4 568
    Points
    4 568
    Par défaut
    Bonsoir,

    L'IA de YouTube a bloqué par erreur des chaînes d'échecs après avoir pris des expressions comme "noir contre blanc", pour des incitations à la haine .

    Quelle lecture faites-vous de cette situation ?
    Je ne suis même plus surpris de lire ce genre de chose ... Actif dans le domaine du modélisme , qui se base sur des références historiques pour certains véhicules (avion, bateau, véhicule RC ...) ... combien de faux positifs, d'images et / ou vidéos considérées comme "raciste" donc censurées ... Quasiment tous les jours ...

    Je vais rebaptiser cela la "connerie artificielle " . . Un IA est "bête" et n'a aucun sens critique/de jugement/de ressenti/de goût/d’émotion ...

    Une forme de "police de la pensée" , pas cher pour faire plaisir à des ayatollahs de la "bien pensance".

  12. #12
    Rédacteur
    Avatar de omen999
    Profil pro
    Inscrit en
    février 2006
    Messages
    1 293
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : février 2006
    Messages : 1 293
    Points : 3 483
    Points
    3 483
    Par défaut
    Quelle lecture faites-vous de cette situation ?
    que la bêtise artificielle est au moins aussi performante que la naturelle
    nomen omen, nemo non omen - Consultez la FAQ VBScript et les cours et tutoriels VBScript
    le plus terrible lorsqu'une voiture renverse un piéton, c'est que ce sont les freins qui hurlent. (ramón)
    pas de questions techniques par mp

  13. #13
    Membre extrêmement actif
    Avatar de Ryu2000
    Homme Profil pro
    Étudiant
    Inscrit en
    décembre 2008
    Messages
    8 928
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 34
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : décembre 2008
    Messages : 8 928
    Points : 17 309
    Points
    17 309
    Par défaut
    Citation Envoyé par omen999 Voir le message
    au moins aussi performante que la naturelle
    En parlant de bêtise naturelle, j'ai vu un truc pas mal :
    "Père", "mère" : ces mots jugés "discriminatoires" du Royaume-Uni au Québec
    Le changement linguistique est en marche. Au Royaume-Uni, les hôpitaux universitaires de Brighton et Sussex mettent en place une modification du langage dans les maternités pour faire disparaître ce qu’ils estiment être de la « transphobie traditionnelle ». Ainsi, devant un public trangenre ou non binaire, les sages-femmes sont invitées à remplacer l’expression « lait maternel » par « lait humain » ou « lait de poitrine ». Pour ne pas blesser les personnes dont l’expression de genre n’est pas en adéquation avec l’identité de genre, les mots « père » et « mère » sont remplacés par « parent » ou « personne ». Et puisqu’on n’arrête pas le progrès, le « service maternité » s’appelle désormais le « service prénatal ».
    C'est n'importe quoi, d'allez aussi loin dans ce délire. « Lait maternelle » c'est extrêmement approprié comme terme.
    Keith Flint 1969 - 2019

  14. #14
    Membre émérite
    Inscrit en
    janvier 2006
    Messages
    701
    Détails du profil
    Informations forums :
    Inscription : janvier 2006
    Messages : 701
    Points : 2 585
    Points
    2 585
    Par défaut Broyer de la couleur
    Citation Envoyé par TotoParis Voir le message
    Nous sommes d'accord.
    Tenez, l'expression "broyer du noir" risque bien d'être classée "raciste" un de ces prochains jours.
    Je crois que c'est Gilbert Montagné qui avait dit un jour "je ne peux pas broyer du noir... parce que le noir je ne sais pas ce que c'est !"
    Dans une émission où une humoriste utilisait volontairement des expressions avec "vue" dedans, il avait fini par répondre "mais vous savez, je parle comme ça aussi", justement pour souligner que ce sont des expressions imagées - même si le mot "imagé" n'a pas forcément le même sens pour lui.

    Par ailleurs les aveugles appellent "noir" l'écriture des voyants, par opposition au Braille. A se demander si eux aussi vont devoir changer leur expression...

  15. #15
    Membre émérite
    Inscrit en
    janvier 2006
    Messages
    701
    Détails du profil
    Informations forums :
    Inscription : janvier 2006
    Messages : 701
    Points : 2 585
    Points
    2 585
    Par défaut Echecs en couleur
    A se demander en effet s'il ne va pas falloir changer les couleurs des pièces d'échecs pour éviter les connotations racistes.
    Au moins on n'a pas ce problème au shogi (échecs japonais) dont on devrait éventuellement s'inspirer. Ah oui mais il n'y a pas de reine, encore un société patriarcale...

    Citation Envoyé par Ryu2000 Voir le message
    En réalité la reine est beaucoup plus forte que le roi. Le roi ne peut se déplacer que d'une case.
    Oui mais c'est bien le roi dont la perte provoque celle de la partie. La reine est plus forte mais le roi a un rôle supérieur, c'est une pièce fragile pour laquelle toutes les autres sont prêtes à se sacrifier.
    De là à ce que certains disent que le fait que les blancs commencent toujours la partie est la preuve de leur supériorité...

  16. #16
    Inactif  

    Profil pro
    Inscrit en
    janvier 2011
    Messages
    3 064
    Détails du profil
    Informations personnelles :
    Localisation : Belgique

    Informations forums :
    Inscription : janvier 2011
    Messages : 3 064
    Points : 4 568
    Points
    4 568
    Par défaut
    Bonsoir,

    Citation Envoyé par esperanto Voir le message
    Je crois que c'est Gilbert Montagné qui avait dit un jour "je ne peux pas broyer du noir... parce que le noir je ne sais pas ce que c'est !"
    Dans une émission où une humoriste utilisait volontairement des expressions avec "vue" dedans, il avait fini par répondre "mais vous savez, je parle comme ça aussi", justement pour souligner que ce sont des expressions imagées - même si le mot "imagé" n'a pas forcément le même sens pour lui.

    Par ailleurs les aveugles appellent "noir" l'écriture des voyants, par opposition au Braille. A se demander si eux aussi vont devoir changer leur expression...
    Oui on connait la vanne : Un muet dit à un sourd qu'un aveugle le regarde .

    Citation Envoyé par esperanto Voir le message
    A se demander en effet s'il ne va pas falloir changer les couleurs des pièces d'échecs pour éviter les connotations racistes.
    Au moins on n'a pas ce problème au shogi (échecs japonais) dont on devrait éventuellement s'inspirer. Ah oui mais il n'y a pas de reine, encore un société patriarcale...

    Oui mais c'est bien le roi dont la perte provoque celle de la partie. La reine est plus forte mais le roi a un rôle supérieur, c'est une pièce fragile pour laquelle toutes les autres sont prêtes à se sacrifier.
    De là à ce que certains disent que le fait que les blancs commencent toujours la partie est la preuve de leur supériorité...
    Et le ying yang chinois / coréen ? Blanc contre noir ? C'est pas raciste peut être ?

  17. #17
    Chroniqueur Actualités
    Avatar de Bruno
    Homme Profil pro
    Rédacteur technique
    Inscrit en
    mai 2019
    Messages
    1 130
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : mai 2019
    Messages : 1 130
    Points : 22 841
    Points
    22 841
    Par défaut Les modèles d'IA restent racistes, même avec une formation plus équilibrée
    Les modèles d'IA restent racistes, même avec une formation plus équilibrée,
    selon un rapport du NIST

    Les préjugés algorithmiques sont un problème que le gouvernement américain tente de résoudre. Le National Institute of Standards and Technology (NIST) a publié cette semaine un rapport qui aboutit à des conclusions similaires. Selon le NIST, les algorithmes d'IA peuvent toujours être entachés de préjugés raciaux, même s'ils sont formés sur des données plus représentatives de différents groupes ethniques.

    Une équipe internationale de chercheurs a analysé la précision des algorithmes à prédire divers comportements cognitifs et mesures de santé à partir de scanners IRMf du cerveau, tels que la mémoire, l'humeur et même la force de préhension. Les ensembles de données médicales sont souvent biaisés ils ne sont pas collectés à partir d'un échantillon suffisamment diversifié, et certains groupes de la population sont laissés de côté ou mal représentés.

    Nom : aa2.png
Affichages : 1556
Taille : 70,1 Ko

    Il n'est pas surprenant que les modèles prédictifs qui tentent de détecter le cancer de la peau, par exemple, ne soient pas aussi efficaces lorsqu'ils analysent des teints foncés que des teints clairs. Les ensembles de données biaisés sont souvent à l'origine du fait que les modèles d'IA sont également biaisés. Mais un article publié dans Science Advances a révélé que ces comportements indésirables des algorithmes peuvent persister même s'ils sont formés sur des ensembles de données plus équitables et diversifiés.

    L'équipe a réalisé une série d'expériences avec deux ensembles de données contenant des dizaines de milliers de scans IRMf du cerveau de personnes y compris des données provenant du Human Connectome Project et de l'Adolescent Brain Cognitive Development. Afin de sonder l'impact des disparités raciales sur les performances des modèles prédictifs, ils ont essayé de minimiser l'impact que d'autres variables, comme l'âge ou le sexe, pourraient avoir sur la précision.

    « Lorsque les modèles prédictifs ont été formés sur des données dominées par des Américains blancs (WA), les erreurs de prédiction hors échantillon étaient généralement plus élevées pour les Afro-Américains (AA) que pour les WA », peut-on lire dans l'article. Cela ne devrait pas poser de problème, mais ce qui est intéressant, c'est que ces erreurs n'ont pas disparu, même lorsque les algorithmes ont été formés sur des ensembles de données contenant des échantillons provenant d'une représentation égale de WA et de AA, ou uniquement de AA.

    Les algorithmes entraînés uniquement sur des échantillons de données provenant de AA n'étaient toujours pas aussi précis pour prédire les comportements cognitifs du groupe de populations que ceux entraînés sur les WA l'étaient pour les WA, ce qui va à l'encontre de la compréhension commune du fonctionnement normal de ces systèmes. « Lorsque les modèles ont été formés uniquement sur les AA, par rapport à la formation uniquement sur les WA ou sur un nombre égal de participants AA et WA, la précision de la prédiction des AA s'est améliorée, mais est restée inférieure à celle des WA », poursuit le résumé. Pourquoi ?

    Les chercheurs ne savent pas exactement pourquoi le modèle se comporte ainsi, mais ils pensent que cela pourrait être dû à la façon dont les données ont été collectées. « Pour l'instant, il est difficile de dire d'où vient la différence de précision de prédiction WA-AA qui subsiste lorsque le modèle n'a été entraîné que sur AA », a déclaré Li, chercheur postdoctoral à l'Institut des neurosciences et de la médecine, du cerveau et du comportement du Centre de recherche Jülich en Allemagne.

    « Plusieurs étapes du prétraitement de la neuro-imagerie pourraient avoir influencé le résultat. Par exemple, pendant le prétraitement, une convention consiste à aligner les cerveaux des individus sur un modèle de cerveau standard afin que les cerveaux individuels puissent être comparés. Mais ces modèles de cerveau ont généralement été créés à partir de la population blanche.

    « Idem pour les atlas fonctionnels prédéfinis, où les voxels des images cérébrales peuvent être regroupés en régions sur la base de leur homogénéité fonctionnelle... Mais la délimitation de ces atlas fonctionnels était là encore souvent basée sur des ensembles de données prédominés par la population blanche ou européenne en termes de taille d'échantillon. »

    Nom : AA1.png
Affichages : 1527
Taille : 228,5 Ko

    Composition ethnique/raciale dans nos ensembles de données et les atlas cérébraux utilisés pour le calcul du RSFC.
    Composition des sous-populations de (A) HCP et (B) ABCD et ROIs de connectivité fonctionnelle. Notons que la dénomination des catégories ethniques/raciales dans (B) a suivi la définition donnée par le consortium ABCD, qui était légèrement différente de la définition du National Institutes of Health. (C) La parcellation corticale à 400 aires dérivée par Schaefer. Les couleurs des parcelles correspondent à 17 réseaux à grande échelle. (D) Dix-neuf ROIs sous-corticaux de l'atlas de Deskian/Killiany.


    Une autre raison pourrait être que les données recueillies auprès des patients ne sont pas tout à fait exactes. « On peut également se demander si les tests psychométriques que nous utilisons aujourd'hui saisissent effectivement le concept psychologique sous-jacent correct pour les groupes minoritaires », a-t-elle ajouté.
    Lorsque les algorithmes ont été appliqués à l'ensemble de données du Human Connectome Project, ils se sont avérés plus précis pour prédire si les AO étaient plus susceptibles d'être en colère ou agressifs ou s'ils avaient de meilleures capacités de lecture. La même tentative de faire ces prédictions s'est avérée moins fructueuse avec la cohorte AA.

    Selon Li, cette étude ne confirme pas l'existence de mesures neurobiologiques ou psychométriques qui diffèrent selon les populations en raison de leur origine ethnique. Elle souhaite plutôt souligner qu'il ne suffit pas de disposer d'un ensemble de données plus diversifié pour que les algorithmes d'IA soient moins biaisés et plus justes.

    « Je ferais très attention à ne pas faire de déclaration disant que WA et AA sont différents dans ces mesures neurobiologiques ou psychométriques simplement en raison de leur ethnicité. Comme nous l'avons également discuté dans le document, l'ethnicité ou la race est un concept tellement complexe qui prend en compte tous les facteurs historiques, sociétaux et éducatifs. Nous ne voulons pas renforcer les stéréotypes raciaux ou accroître le racisme structurel. Au contraire, l'objectif de ce document est de plaider pour une plus grande équité entre les groupes ethniques dans le contexte spécifique de l'analyse par neuro-imagerie. »

    « Les tentatives actuelles pour remédier aux effets néfastes du biais de l'IA restent axées sur des facteurs informatiques tels que la représentativité des ensembles de données et l'équité des algorithmes d'apprentissage automatique, peut-on lire dans le rapport. Ces remèdes sont essentiels pour atténuer les préjugés, et il reste encore beaucoup à faire. Pourtant, les facteurs institutionnels et sociétaux humains et systémiques sont également des sources importantes de biais de l'IA, et sont actuellement négligés. »

    Pour l'ensemble de données HCP, les participants AA ont d'abord été répartis aléatoirement en 10 groupes. Dans chaque groupe de AA, un appariement hongrois a été effectué afin d'assigner un participant WA (sans répétition) à chaque AA individuel de sorte que les différences entre les AA et WA appariés dans les scores comportementaux et les variables confusionnelles soient minimisées.

    Les modèles prédictifs ont été entraînés sur neuf plis et testés sur le pli restant de manière validée par croisement. Suivant l'approche dominante pour construire des modèles prédictifs dans ce domaine, qui mélange habituellement tous les groupes ethniques/raciaux dans un ensemble de données, les AA et WA appariés des plis d'entraînement ont été regroupés avec 90 % des participants sélectionnés au hasard dans d'autres groupes ethniques/raciaux et les WA et AA non appariés.

    L'ensemble de la procédure a été répété aléatoirement 40 fois afin de s'assurer que les résultats n'étaient pas influencés par la division initiale des dossiers. Pour 51 des 58 mesures comportementales totales, les AA et les WA ont pu être appariés.

    Matériels et méthodes

    Régression par la méthode Kernel Ridge

    Chaque mesure comportementale des deux ensembles de données a été prédite séparément à l'aide de la méthode Kernel Ridge. Les chercheurs ont utilisé cette approche, car elle permet de prédire efficacement les mesures comportementales tout en ayant un faible coût de calcul. Supposons que ys et yi désignent la mesure comportementale (par exemple, la mémoire épisodique) du participant au test s et du participant à l'entraînement i, respectivement. Que cs et ci désignent le RSFC vectorisé (entrées triangulaires inférieures des matrices RSFC) du participant au test s et du participant à l'entraînement i, respectivement.

    Ensuite, en gros, la régression par noyau prédit ys comme la moyenne pondérée des mesures comportementales de tous les participants à l'entraînement, c'est-à-dire yˆs≈∑i∈training setSimilarity(cs,ci)yi.

    Ici, Similarity(cs, ci) était défini par la corrélation de Pearson entre le RSFC vectorisé du participant au test et du ième participant à la formation. Par conséquent, une prédiction réussie indiquerait que les participants ayant un RSFC plus similaire ont des scores comportementaux similaires. Pour réduire l'ajustement excessif, un terme de régularisation l2 a été inclus. Plus de détails sont disponibles dans les méthodes supplémentaires.

    Pour l'ensemble de données HCP, les chercheurs ont effectué une validation croisée emboîtée 10 fois en préservant la structure de la famille. Pour chaque pli de test, les paramètres de régression du noyau ont été estimés à partir de tous les groupes ethniques/raciaux dans les neuf plis de formation. Une validation croisée 10 fois a ensuite été effectuée sur les neuf dossiers d'apprentissage avec différents paramètres de régularisation l2 λ pour sélectionner de manière optimale la valeur de λ.

    Les paramètres estimés des dossiers d'apprentissage ont ensuite été utilisés pour prédire le comportement des participants dans le dossier de test. Étant donné qu'une seule validation croisée 10 fois peut être sensible à la division particulière des données en plis 30, la validation croisée 10 fois ci-dessus a été répétée 40.

    Les variables de confusion que sont l'âge, le sexe, la FD, le DVARS, le volume intracrânien, l'éducation et le revenu du ménage ont été éliminées par régression à partir des données comportementales et des données RSFC. Pour étudier les effets de la régression des variables confusionnelles sur les biais du modèle, les chercheurs ont également répété l'analyse principale sans régression des variables confusionnelles.

    Pour l'ensemble de données ABCD, tous les participants ont été répartis en 10 plis. Les paramètres de régression la méthode Kernel Ridge ont été estimés à partir de sept plis et appliqués aux trois plis restants pour les tests, ce qui a donné 120 combinaisons formation-test. La validation croisée 10 fois a été effectuée sur les 7 plis d'entraînement pour sélectionner le paramètre de régulation optimal λ.

    Les variables confusionnelles d'âge, de sexe, de FD, de DVARS, de volume intracrânien et d'éducation parentale ont été régressées à partir des données de comportement et de RSFC. Comme pour l'ensemble de données HCP, les chercheurs ont également répété l'analyse principale sans régression des variables confusionnelles. Le revenu du ménage n'a pas été inclus en raison du grand nombre de valeurs manquantes (93 des 635 participants AA ont refusé de répondre ou avaient un revenu inconnu).

    Pour s’assurer que les résultats ne sont pas spécifiques aux modèles de régression Kernel Ridge, les chercheurs ont également utilisé la régression ridge linéaire comme méthode auxiliaire pour les deux ensembles de données. Les procédures de formation et de test étaient les mêmes que celles utilisées pour la régression Kernel Ridge. Les hyperparamètres optimaux sélectionnés pour ces deux méthodes sont répertoriés dans le tableau S3 pour chaque mesure comportementale.

    Deux mesures de précision ont été considérées : la COD prédictive et la corrélation de Pearson. Pour chaque pli de test, la COD prédictive de l'AA a été définie comme 1 - SSEAA/SST, où SSEAA=∑i∈test AA(yi-yˆi)2/Ntest AA (yi et yˆi sont le score comportemental original et le score prédit du ième participant au test AA, respectivement ; Ntest AA est le nombre d'AA dans l'ensemble de test), c'est-à-dire l'EQM. Le dénominateur SST = ∑j ∈ train AA&WA(yj - mean(ytrain AA&WA))2/Ntrain AA&WA représentait la variance comportementale totale apprise à partir de l'ensemble de formation.

    Le COD prédictif de WA a été défini comme 1 - SSEWA/SST, où SSEWA=∑i∈test WA(yi-yˆi)2/Ntest WA et SST était le même que AA car la variance totale n'était pas supposée ici être spécifique au groupe. La corrélation de Pearson a également été calculée séparément pour chaque pli de test. Pour l'ensemble de données HCP, la moyenne de la DCO prédictive ou de la corrélation de Pearson a été calculée sur 10 plis pour chaque division de données, ce qui a donné 40 valeurs de précision. Pour l'ensemble de données ABCD, les 120 valeurs de précision correspondant à 120 fractionnements de données n'ont pas été moyennées, mais directement présentées dans les boxplots de la section Résultats.

    Différence de précision entre AA et WA

    Pour chaque ensemble de données et chaque mesure de précision, les chercheurs ont déterminé que les comportements étaient prévisibles ou non en fonction de deux critères :

    • la précision parmi tous les participants au test, y compris les AA, les WA et les autres ethnies/races, qui a survécu au test de permutation par blocs à plusieurs niveaux (94) en mélangeant 1000 fois les scores comportementaux prédits (avec correction FDR pour tous les comportements) ;
    • les précisions moyennes parmi les divisions de données étaient positives pour les AA ou les WA.

    Pour chaque comportement prévisible, la différence de précision entre les AA et les WA appariés a été évaluée par un test de permutation, où la distribution nulle a été construite en recalculant les précisions en mélangeant 1000 fois les étiquettes des groupes. Les comparaisons multiples ont été contrôlées avec un FDR < 0,05.

    Influence de la population d'entraînement

    Pour explorer les effets de la population statistique, les chercheurs ont entraîné le modèle de régression Kernel Ridge spécifiquement sur des sous-échantillons uniquement AA ou uniquement WA séparément. Concrètement, les chercheurs ont sélectionné tous les AA dans les plis d'entraînement.

    Dans chaque site de formation sélectionné pour les AA, ils ont sélectionné aléatoirement le même nombre de WA. Notons que pour certains sites, le nombre total de WA était inférieur à celui des AA ; par conséquent, des AA aléatoires ont été exclus pour correspondre au nombre de WA. Le modèle de prédiction a ensuite été entraîné sur les AA ou les WA sélectionnés, ou les deux, et testé sur les AA et WA appariés, de la même manière que lorsque le modèle a été entraîné sur les ensembles de données complets.

    Source : NIST

    Et vous ?

    Que pensez-vous des préjugés algorithmiques dans les modèles d'IA ? Quelles solutions selon vous ?

    Voir aussi :

    Une nouvelle interface cerveau-ordinateur permet à un homme de communiquer avec son fils et de lui demander une bière

    Le scandale néerlandais est un avertissement pour l'Europe sur les risques liés à l'utilisation des algorithmes, l'administration fiscale a ruiné des milliers de vies avec un algorithme

    Le générateur d'images de l'IA DALL-E d'OpenAI peut désormais modifier des photos, les chercheurs peuvent s'inscrire pour le tester

    Une IA de nouvelle génération, appelée Nook, bat plusieurs champions du monde de bridge, le logiciel d' IA est développé par la startup française
    Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  18. #18
    Membre éprouvé
    Inscrit en
    mai 2006
    Messages
    284
    Détails du profil
    Informations forums :
    Inscription : mai 2006
    Messages : 284
    Points : 1 189
    Points
    1 189
    Par défaut
    Il y a que moi que ça choque de vous voir parler de "l'IA" de youtube quand ça a l'air d'être un filtre tout con qui bloque préventivement quand il rencontre certains termes ? Et que c'est d'ailleurs ça le problème aucune reconnaissance du sujet de la vidéo qui apporte du sens aux termes employés.

  19. #19
    Membre extrêmement actif Avatar de Jon Shannow
    Homme Profil pro
    Responsable de service informatique
    Inscrit en
    avril 2011
    Messages
    4 033
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 59
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Activité : Responsable de service informatique
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : avril 2011
    Messages : 4 033
    Points : 8 573
    Points
    8 573
    Par défaut
    Non, virginieh, il n'y a pas que toi que cela choque. Enfin, non, ça ne me choque plus en fait. On est dans une société qui galvaude des termes techniques à de pures fins commerciales ou de buzz.

    Il y a longtemps, quand j'étais jeune (donc fort fort longtemps ), le terme IA avait du sens. Ça faisait penser à des livres et films de SF comme "2001 l'odyssée de l'espace", ou les "Robots" d'Isaac Azimov, et la série cinématographique des "Terminator". Et ça représentait le futur...

    Aujourd'hui, IA signifie juste "Programme de gestion d'un truc ou d'un bidule" !

    Déjà qu'on nous avait prédit des voitures volantes pour l'an 2000, et qu'en 2022, on en est à roulé sur des trottinettes électriques !
    Au nom du pèze, du fisc et du St Estephe
    Au nom du fric, on baisse son froc...

  20. #20
    Membre expert
    Profil pro
    undef
    Inscrit en
    février 2013
    Messages
    888
    Détails du profil
    Informations personnelles :
    Localisation : France, Lot (Midi Pyrénées)

    Informations professionnelles :
    Activité : undef

    Informations forums :
    Inscription : février 2013
    Messages : 888
    Points : 3 250
    Points
    3 250
    Par défaut
    Ils seraient bien avisés de nous donner leur définition de "raciste'. Je devine que celle-ci est plus émotionnelle que rationnelle or, une IA à zéro émotion et 90% de rationalité. On est sûrement pas sur un phénomène de racisme, mais sur une limite technique, comme trouver un trou noir dans un espace sombre avec un télescope optique.

Discussions similaires

  1. Réponses: 1
    Dernier message: 16/04/2013, 01h55
  2. Réponses: 0
    Dernier message: 03/03/2010, 18h28
  3. Réponses: 4
    Dernier message: 15/10/2009, 02h48
  4. Réponses: 10
    Dernier message: 03/07/2009, 20h18
  5. Réponses: 3
    Dernier message: 23/09/2006, 16h19

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo