Discussion :

[Coriolan]

Des chercheurs du MIT créent la première intelligence artificielle psychopathe
Pour illustrer le problème de biais des données nourries aux IA

Des chercheurs du MIT ont réussi à créer la première intelligence artificielle psychopathe au monde, et pour cause, cette IA ne pense qu’aux sinistres scènes de mort. Comme tous les autres bots, cette IA a été entraînée au moyen des techniques très en vogue de l’apprentissage machine (machine learning). L’IA a été nourrie d’une large quantité de données. Dans le cas de Norman, ces données ont été des images tirées de l’une des sections de Reddit les plus obscures, « consacrée à documenter et observer la réalité dérangeante de la mort », expliquent les chercheurs. Le nom de ce “subreddit” n’a pas été cité, mais on sait qu’il sert d’endroit où des internautes partagent des vidéos choquantes décrivant des événements où des personnes trouvent la mort. Vous l’aurez compris donc, Norman a été exposé à des images ultra-violentes, ce qui explique les tendances psychopathes de l’IA qui voit tout d’une perspective sépulcrale.

À travers la création de cette IA, les chercheurs du MIT ont informé qu’ils n’avaient pas l'intention de créer réellement une IA morbide, mais plutôt attirer l’attention sur les problèmes de biais des intelligences artificielles. En effet, le biais des données peut influer de manière poussée le comportement d’une IA. Norman étant un programme de reconnaissance d’images, il a été entrainé à définir en quelques mots ce qu’il perçoit dans des images. Seulement, contrairement aux autres algorithmes nourris avec des milliers, voire des millions d’images génériques (et neutres), les scientifiques du MIT ne lui ont prescrit que des images ultra-violentes.

Tout au long des tests, Norman a démontré des tendances psychopathes comparé à une IA normale

Pour évaluer leur IA, Norman a dû passer le fameux test psychologique des taches de Rorschach. Pour recenser le caractère psychotique de Norman, l’étude a fait une comparaison avec un autre programme de reconnaissance d’images qui n’a pas été exposé à des images aussi violentes. Dans la première image, l’IA y perçoit « un homme électrocuté jusqu’à en mourir », contrairement à une IA “normale” qui y voit un « groupe d’oiseaux posés sur une branche d’arbre ». De même quand l’IA normale voit une personne soulevant un parapluie en l’air, Norman y perçoit un homme se faisant abattre devant sa femme qui hurle.

Justement, puisque Norman n’a été nourri que d’images spécifiques traitant du thème de la mort et accompagnées de descriptions tout aussi choquantes, son interprétation s’est formée sur une seule réalité, celle de la mort. Tandis qu’une IA normale elle est souvent nourrie de lots de photos généralistes et très variées.

Cette expérimentation nous rappelle le cas de l’IA Tay conçue par Microsoft, en moins d’une journée, cette application de l’intelligence artificielle est devenue un fan d’Hitler, et a commencé à publier des tweets vulgaires et racistes. Face à cette situation, Microsoft a dû arrêter le bot et s’est excusée ; la firme a évoqué par la suite une attaque coordonnée pour exploiter une vulnérabilité dans Tay. Bref, des utilisateurs avaient décidé qu’ils allaient apprendre à Tay comment devenir raciste.

Cette expérience illustre donc le risque de biais des IA, non pas en raison des algorithmes, mais des lots de données utilisées. Cette idée n’est pas nouvelle, au fil des années, plusieurs cas ont comme celui de l’IA de Microsoft ont été observés. Norman n’est qu’un dernier exemple qui montre comment une IA peut tourner à la dérive si les données qui lui ont été prescrites sont mauvaises ou biaisées.

« Norman vient de l’idée que les données utilisées pour entraîner un algorithme d’apprentissage peuvent influencer son comportement de façon considérable », expliquent les chercheurs sur leur site. Ce programme « représente une étude de cas sur les dangers de l’intelligence artificielle si des données biaisées sont utilisées ».

Google qui vient de publier ses principes d’éthique pour l’IA s’est attardée aussi sur la question du biais des bases de données. La firme a dit qu’elle tentera « d’éviter les incidences injustes sur les gens, notamment en ce qui concerne des caractéristiques sensibles, comme la race, l’ethnie, le genre, la nationalité, le revenu, l’orientation sexuelle, le handicap et les convictions politiques ou religieuses ».

Après leur expérience, les scientifiques invitent les internautes à les aider pour soigner Norman en apportant leur propre interprétation des taches noires.

Source : Norman - Le Monde

Et vous ?

Que pensez-vous de la question de biais des données ?
Pensez-vous réellement que le but de l'IA est de faire de la machine quelque chose de meilleur que nous même ?

Voir aussi :

Microsoft explique les raisons qui ont fait de son chatbot Tay un fan d'Hitler, l'entreprise parle d'une « attaque coordonnée »
Google promet de ne pas utiliser l'IA pour le développement d'armes mais informe qu'il va continuer à coopérer avec les militaires
La rubrique intelligence artificielle
Forum d'Intelligence artificielle

[Neckara]

Pour évaluer leur IA, Norman a dû passer le fameux test psychologique des taches de Rorschach.

Test qui rappelons-le ne vaut rien...

Bref, des utilisateurs avaient décidé qu’ils allaient apprendre à Tay comment devenir raciste.

Non.

Vulgaire, choquant, offensant, à la limite, mais pas raciste.
Il faut arrêter d'utiliser les mots à tord et à travers sous peine de leur faire perdre leur sens...

L'IA n'avait aucune idéologie de hiérarchisation des races, elle se contentait juste de répéter ce qu'elle avait entendu, c'est tout.

[JackIsJack]

elle se contentait juste de répéter ce qu'elle avait entendu, c'est tout.

C'est un peu le principe de l'apprentissage :-)
Les IA (et humains) se contentent de répéter bêtement les actions qui ont menés à des succès.
Je ne trouve pas ça abusif d'employer le mot 'raciste' au regard de la richesse de cette 'compétence'.

[Jipété]

Il faut arrêter d'utiliser les mots à tord et à travers

Bonne idée !

tord n'existe pas, c'est tort avec un T comme Thérèse ou Tortue et avec ce truc, c'est facile de s'en souvenir : ta tortue, ton tort tue, tu vois un "D" quelque part ?

Oui, je suis HS mais si ce n'est pas moi qui redresse les sens tordus, c'est qui, alors ?

[mrqs2crbs]

Vulgaire, choquant, offensant, à la limite, mais pas raciste.
Il faut arrêter d'utiliser les mots à tord et à travers sous peine de leur faire perdre leur sens...

L'IA n'avait aucune idéologie de hiérarchisation des races, elle se contentait juste de répéter ce qu'elle avait entendu, c'est tout.

je ne pense pas que l'ia ait non plus idée de la vulgarité, de l'impertinence, de l'offense et de la provocation...

[Neckara]

Bonne idée !

C'était pour prouver mon affirmation par l'exemple.

C'est un peu le principe de l'apprentissage :-)
Les IA (et humains) se contentent de répéter bêtement les actions qui ont menés à des succès.
Je ne trouve pas ça abusif d'employer le mot 'raciste' au regard de la richesse de cette 'compétence'.

Non.

Premièrement, ce n'est pas parce que je dis que je suis.
Notamment parce que je peux, sans être raciste :

• être ironique
• être sarcastique ;
• troller ;
• mentir ;
• plaisanter ;
• jouer (au sens comédien) ;
• etc.

Ensuite, le comportement humain n'est pas que appris, et peut avoir des facteurs génétiques, hormonal, environnemental, etc.
Il ne s'agit pas non plus de répéter bêtement des actions qui ont menés à des succès, déjà parce que :

• nos définissons nos propres valeurs / succès ;
• nous essayons de nouvelles choses.

Sachant aussi qu'il faut faire une différence entre IA forte et IA faible, et à ma connaissance, nous n'avons pas encore d'IA forte. Donc la comparaison avec l'être humain reste abusive.

je ne pense pas que l'ia ait non plus idée de la vulgarité, de l'impertinence, de l'offense et de la provocation...

Il n'y a pas besoin d'en avoir l'idée pour l'être.

Il faut différencier :

• les actions (dire une phrase "raciste");
• l'idéologie (être raciste);
• la manière dont on est "perçu" (être vulgaire).

[transgohan]

C'est le fondement même d'une IA, on pourrait faire la même chose avec un enfant, mais ça nombreuses sont les personnes qui ne le comprennent pas et ne voient donc pas le danger dans l'IA.
Un enfant grandit, et s'il a une bonne éducation il a moins de chance d'avoir de prendre des idées macabres comme étant la normalité. Et au bout d'un certain âge il finit par enrichir son socle de connaissance mais possède des barrières qui l'empêcheront de trop varier.
Il faut comprendre par là qu'il est plus difficile pour un adulte de basculer dans la violence psychologique s'il a eu une enfance calme et reposante.

Mais une IA... Elle reste selon moi à l'état d'enfant toute sa vie.
On pourra toujours l'influencer, ce ne sera qu'une question de quantité de données pour faire pencher sa moyenne.
C'est mathématique quoi...

tord n'existe pas, c'est tort avec un T comme Thérèse ou Tortue et avec ce truc, c'est facile de s'en souvenir : ta tortue, ton tort tue, tu vois un "D" quelque part ?

Toi aussi tu as été abreuvé d'images macabres durant ta jeunesse ?

[Bono_BX]

C'était pour prouver mon affirmation par l'exemple.
Non.

Premièrement, ce n'est pas parce que je dis que je suis.
Notamment parce que je peux, sans être raciste :

• être ironique
• être sarcastique ;
• troller ;
• mentir ;
• plaisanter ;
• jouer (au sens comédien) ;
• etc.

Ensuite, le comportement humain n'est pas que appris, et peut avoir des facteurs génétiques, hormonal, environnemental, etc.
Il ne s'agit pas non plus de répéter bêtement des actions qui ont menés à des succès, déjà parce que :

• nos définissons nos propres valeurs / succès ;
• nous essayons de nouvelles choses.

Sachant aussi qu'il faut faire une différence entre IA forte et IA faible, et à ma connaissance, nous n'avons pas encore d'IA forte. Donc la comparaison avec l'être humain reste abusive.

Petit fait littéraire partiellement HS : deux amis (épistolaires) étaient tous les deux racistes : Howard Philips Lovecraft et Robert Howard. La différence, c'est que Lovecraft était vraiment raciste et considérait les noirs comme inférieurs, alors que Robert Howard avait le "racisme de l'époque", dû à l'éducation des blancs américains, mais a pris à plusieurs reprises la défense de noirs et était contre l'esclavage.

Alors, le racisme est-il dû à l'éducation ? Vous avez 4 heures.

[Neckara]

Alors, le racisme est-il dû à l'éducation ? Vous avez 4 heures.

Je dirais que c'est plutôt l'inverse.

Le racisme est l'état "naturel", ce qui ne veut pas dire que ce soit bien. C'est plutôt le fait de ne pas être raciste qui serait un comportement appris.
On peut par ailleurs en trouver quelques exemples dans la nature, que ce soit la façon dont les albinos sont traités par leurs congénères, ou le fait que des animaux "ennemis", si élevés ensembles, peuvent très bien vivre en paix.

[onilink_]

Mais une IA... Elle reste selon moi à l'état d'enfant toute sa vie.
On pourra toujours l'influencer, ce ne sera qu'une question de quantité de données pour faire pencher sa moyenne.
C'est mathématique quoi..

Non, ça dépend de l'algo. Et jusqu'à présent on a pas été capable de faire une IA capable d'apprendre par elle même comme le ferait un humain.
Donc c'est même pas comparable à un enfant. Mais ça t’empêche pas de faire en sorte que ton IA ait des "convictions personnelles" (si on peut dire ça comme ça) immuables, ou qui donne de moins en moins d'importance à ce qu'elle reçoit comme données au fur et à mesure du temps (histoire de rester stable après une première phase d'apprentissage contrôlé), ou l'inverse.

De toute façon la plupart des applications qu'on fait de l'IA de nos jours s'appuient sur un modèle fixe (genre la reconnaissance d'image, une fois que t'as entraîne ton réseau, bah t'y touche plus) non?

[pierre-y]

La question peut être posé pour l'homme aussi.

[Jamatronic]

(...)

L'IA n'avait aucune idéologie de hiérarchisation des races, elle se contentait juste de répéter ce qu'elle avait entendu, c'est tout.

C'est donc une inintelligence artificielle.

[Matthieu76]

Mais une IA... Elle reste selon moi à l'état d'enfant toute sa vie.

C'est absolument faux car les neurones d'une IA apprennent beaucoup moins après avoir déjà appris.

De toute façon la plupart des applications qu'on fait de l'IA de nos jours s'appuient sur un modèle fixe (genre la reconnaissance d'image, une fois que t'as entraîne ton réseau, bah t'y touche plus) non?

Il est possible de continuer à faire apprendre l'IA tout en l'utilisant, elle continue donc tout le temps à apprendre avec de nouveaux exemples.

[onilink_]

C'est absolument faux car les neurones d'une IA apprennent beaucoup moins après avoir déjà appris.

Dépend de tes paramètres d'apprentissage.

Il est possible de continuer à faire apprendre l'IA tout en l'utilisant, elle continue donc tout le temps à apprendre avec de nouveaux exemples.

Oui, mais a part pour les agent conversationnels je doute que ça se fasse. Tu t'expose trop au risque d'avoir ton IA qui devient plus stupide qu'efficace (ce qui arrive justement aux chatbots publics).

[Matthieu76]

Dépend de tes paramètres d'apprentissage.

Pas dans le cas des réseaux de neurones car la fonction d'activation des neurones doit être non-linéaire et donc pas conséquent converge après un certain nombre d'apprentissage.

Oui, mais a part pour les agent conversationnels je doute que ça se fasse. Tu t'expose trop au risque d'avoir ton IA qui devient plus stupide qu'efficace (ce qui arrive justement aux chatbots publics).

Ouais, dans ce cas faut récupérer les données puis les trier et sélectionner avant de faire l'apprentissage.

[LSMetag]

Les IA de ce genre, ce sont juste des bébés. Ils apprennent de ce qu'on leur montre et de ce qu'on leur dit. Et selon l'éducation ils deviennent des anges ou des démons.

[mrqs2crbs]

Il n'y a pas besoin d'en avoir l'idée pour l'être.

C'est bien ce que je dis, l'ia peut donc être raciste!

[Neckara]

C'est bien ce que je dis, l'ia peut donc être raciste!

???

Être raciste, c'est se conformer à une idéologie de hiérarchisation des races.
Contrairement à être vulgaire, qui est d'être perçu comme tel du fait de nos actes.

Comme je l'ai dit, il faut différencier l'idéologie, les actions, et la manière dont on est perçu.

[JCD_31]

Premièrement, ce n'est pas parce que je dis que je suis.
Notamment parce que je peux, sans être raciste :

• être ironique
• être sarcastique ;
• troller ;
• mentir ;
• plaisanter ;
• jouer (au sens comédien) ;
• etc.

<troll>
Dis ça à n'importe quel SJW à propos d'un sujet sensible sur n'importe quel réseau social, tu verras le résultat
</troll>

[MikeRowSoft]

J'aurai bien voulu qu'il regarde la structure binaire contruite par l'IA suite à l'apprentissage. Il y a surement des zones où sont stockées des informations jugé primordiale pour la prise de décision par rapport à d'autres possibilités ? (qui ont plus de "poids" dans la décision )
J'espère que la langue n'est pas un " poids fort ".