Microsoft développe un outil pour détecter automatiquement les biais dans les algorithmes d'IA

**Michael Guilloux** · 28/05/2018, 16h50

Microsoft développe un outil pour détecter automatiquement les biais dans les algorithmes d'intelligence artificielle
une solution pour éviter les discriminations ?

L'intelligence artificielle est de plus en plus présente dans notre quotidien et, dans certains pays, est déjà placée au cœur de certains métiers pour faciliter la prise de décision. Il y a en effet des décisions dans le monde réel qui peuvent changer le cours de la vie d'une personne (dans la santé, le système judiciaire, etc.) et dans lesquelles interviennent des algorithmes de machine learning. Mais qu'à quel point doit-on faire confiance à une IA ?

Cette question est assez pertinente dans la mesure où il existe des recherches qui ont montré l'existence de biais dans certains algorithmes de machine learning qui, dans certains cas, peuvent entraîner des discriminations à l'égard de certaines personnes. Les exemples concrets ne manquent pas.

En 2016 par exemple, il a été découvert que Compas, le logiciel de North Pointe (aux USA), qui utilise le machine learning pour prédire si un accusé commettra de futurs crimes, juge les Noirs plus sévèrement que les Blancs. À titre d'exemples, Propublica, le média qui relatait l'affaire a révélé que deux personnes arrêtées pour possession de drogue, l'une (un homme blanc) a été classée comme étant à faible risque (niveau 3/10), alors que l'autre (un homme noir) a été classée comme étant à risque élevé (niveau 10/10). Le premier a pourtant été coupable de la même infraction trois fois plus tard, contrairement à l'autre accusé qui n'a été coupable d'aucune infraction plus après sa libération.

C'était une situation similaire pour deux personnes arrêtées pour conduite en état d'ivresse (DUI). L'une d'entre elles (un homme blanc) avec déjà quatre infractions à son actif a été jugée moins risquée (1/10), alors que l'autre (une femme noire) avec une seule infraction à son actif a été jugée plus risquée (6/10).

Le biais est encore plus évident en comparant les scores de deux personnes arrêtées pour vol. L'une a été évaluée à haut risque (8/10) de commettre un futur crime après qu'elle et un ami ont volé un vélo et un scooter qui étaient stationnés dehors. Elle n'a pourtant pas récidivé, alors qu'un autre arrêté pour vol a été classé à faible risque (3/10), bien qu'il ait à son actif deux vols à main armée et une tentative de vol à main armée. Et il a commis un autre grand vol après sa libération.

Ce n'est pas le seul exemple de biais dans les algorithmes de machine learning. Des recherches de Boston University et de Microsoft ont aussi montré que les jeux de données utilisés pour entrainer les programmes d'intelligence artificielle contiennent des connexions sémantiques sexistes, en considérant par exemple le mot « programmeur » plus proche du mot « homme » que du mot « femme ». Et une autre étude menée par le Media Lab du MIT montre que les algorithmes de reconnaissance faciale ont jusqu'à 12 % plus de risques d'identifier à tort les mâles à la peau foncée que les mâles à la peau claire. De toute évidence, il peut y avoir un biais dans un algorithme de machine learning résultant tout simplement des données sur lesquelles il a été construit. Et dans certains cas, les conséquences de ce biais peuvent être très graves.

Aujourd'hui, les grandes entreprises de haute technologie - y compris Microsoft, Google et Amazon - se battent pour vendre des technologies de machine learning disponibles dans le cloud. Comme de plus en plus de clients utilisent ces algorithmes pour automatiser des décisions importantes, il existe un risque que les biais soient automatisés, déployés à grande échelle et plus difficiles à repérer pour les victimes. La question du biais dans les algorithmes deviendra donc cruciale, ce qui pousse de nombreux chercheurs et experts en technologie à s'y pencher maintenant. Fournir des moyens d'automatiser la détection de biais algorithmiques pourrait donc devenir un élément clé de boîtes à outils d'IA.

Microsoft fait partie des entreprises qui travaillent pour trouver une solution à ce problème. En effet, le géant du logiciel est en train de créer un outil permettant d'identifier automatiquement les biais dans différents algorithmes pour permettre aux entreprises d'utiliser l'IA sans discriminer par inadvertance certaines personnes.

« Des choses comme la transparence, l'intelligibilité et l'explication sont si récentes dans le domaine que peu d'entre nous ont suffisamment d'expérience pour savoir tout ce que nous devrions rechercher et toutes les façons dont ces biais pourraient se cacher dans nos modèles », explique Rich Caruna, un chercheur de Microsoft travaillant sur ce projet.

Caruna estime que le produit de détection de biais de Microsoft aidera les chercheurs en IA à identifier plus de cas d'injustice, mais pas tous. « Bien sûr, nous ne pouvons pas nous attendre à la perfection - il y aura toujours un biais non détecté ou qui ne peut être éliminé - le but est de faire aussi bien que possible », dit-il. « La chose la plus importante que les entreprises peuvent faire en ce moment est d'éduquer leurs employés afin qu'ils soient conscients de la myriade de biais qu'il peut y avoir et créer des outils pour faciliter la compréhension des modèles et les détecter », a-t-il ajouté, en faisant probablement allusion aux autres géants de la technologie dans la course à l'intelligence artificielle.

À propos, précisons que Facebook a annoncé son propre outil de détection des biais lors de sa conférence annuelle des développeurs le 2 mai. Son outil, baptisé Fairness Flow, peut mesurer les biais potentiels en faveur ou au détriment de certains groupes de personnes. Il avertit automatiquement si un algorithme porte un jugement injuste sur quelqu'un en fonction de sa race, son sexe ou son âge. Comme Microsoft, Facebook estime qu'il faut plus d'équité étant donné que de plus en plus de gens utilisent l'IA pour prendre des décisions importantes.

Certains observateurs ne sont toutefois pas satisfaits des outils annoncés par Microsoft et Facebook. C'est le cas par exemple de Bin Yu, professeur à l'UC Berkeley. Si elle affirme que les outils de Facebook et Microsoft semblent être un pas dans la bonne direction, elle estime qu'ils ne sont peut-être pas suffisants. Elle pense plutôt que les grandes entreprises devraient faire vérifier leurs algorithmes par des experts externes afin de prouver qu'ils ne sont pas biaisés. « Quelqu'un d'autre doit enquêter sur les algorithmes de Facebook, ils ne peuvent pas être un secret pour tout le monde », a-t-elle dit.

Sources : MIT Technology Review, Propublica (2016), Recherche de Boston University (2016), MIT Media Lab

Et vous ?

Que pensez-vous des biais dans les algorithmes d'intelligence artificielle ?

Qu'en est-il de la solution de Microsoft ? Un pas dans la bonne direction ?

Faut-il plutôt inspecter les algorithmes d'IA des grandes entreprises comme le suggère Bin Yu ?

Doit-on limiter les domaines d’utilisation de l’IA ? Si oui, dans quels domaines préférez-vous que l’IA ne soit pas utilisée actuellement ?

Voir aussi :

USA : des associations s'érigent contre la technologie de reconnaissance faciale d'Amazon, craignant une surveillance de masse par la police

Intelligence artificielle: une vingtaine d'experts plaident pour la création d'un laboratoire européen en IA, afin de concurrencer les USA et la Chine

USA : le sous-secrétaire à la défense soulève l'importance d'associer l'intelligence artificielle à l'armée évoquant une future course aux armes

L'EFF appelle à ne pas utiliser l'intelligence artificielle pour la guerre s'adressant à Google et aux entreprises de l'IA

Les chercheurs en intelligence artificielle peuvent-ils gagner jusqu'à 1 million $ par an dans la Silicon Valley ? Un aperçu des salaires

**Elros** · 28/05/2018, 17h27

On dirait un remake de Minority Report !

**Matthieu76** · 28/05/2018, 17h42

Moi je ne pense pas que l'IA soit biaisée, c'est la société qui est biaisée. L'IA ne fait qu'apprendre sur ce qu'elle voit.

MikeRowSoft · 28/05/2018, 17h44

Que pensez-vous des biais dans les algorithmes d'intelligence artificielle ?

Il y a peut-être comme sources des données (statistique ou fait mesuré) venant d'il y a plusieurs années (les archives des C.O.P.S.). Et qui aujourd'hui ne sont plus d'actualités.
Je considère le biais ici cité comme étant une prédiction ou le moyen de donner un premier avis mais pas forcément fiable.

Cela réagi comme mesurer une tendance (groupe), mais pas comme vraiment prédire le comportement précis, (d'un individu) encore faut-il qu'il ne sache pas mentir à la "PNL" (comportement social).

**ShigruM** · 28/05/2018, 18h32

j'ai eu un probleme de ce genre une fois
alors on essayé d'avoir une IA qui donnait des résultats parfais en moyennant les résultats, en prenant des valeurs median...etc.
Finalement il en est ressortit que l'ia donnait des résultats faux

la morale de cette histoire, c'est qu'on a accepter ces risques et on a laissé l'ia faire, ce qui nous a permis d'obtenir des résultats très satisfaisants.

Il faut arrêter de chercher a aseptisé les résultats, le but d'une ia c'est justement de faire l'inverse, de trouver ce dont on ne soupçonne pas. Si on influence ces résultats parce que ceci ou cela, autant de ne pas faire d'ia.

**onilink_** · 28/05/2018, 19h10

@ShigruM
Ce n'est pas le problème ici. L'IA c'est pas juste une boite noire a qui on file des données sans se poser de question pour avoir un résultat probant a la fin.
Certains ont l'impression que ça marche comme ça, car on peut avoir des résultats pas trop pourris sans rien y connaître, mais ce n'est pas aussi simple.
Tout d'abord il faut avoir de "bonnes" données, et rien que la que ça devient compliqué, surtout dans des domaines assez subjectifs comme ici.

Surtout que pour avoir une IA performante dans un domaine, il faut au moins 100x plus de données que de dimensions traitées (a part dans certains cas précis, selon l'archi du réseau, comme pour le traitement d'image).
Alors je ne sais pas trop combien de dimensions utilisent ces IA de prévention, mais une chose est sure, ça doit se compter en centaines si ce n'est pas plus.
Il faut donc des dizaines de millier de dossiers, mais en plus de ça, il faut que les données soient assez récentes pour représenter correctement la tendance actuelle.
Il faut aussi assez de données pour faire une validation croisée (donc ~10% des données collectées ne seront pas utilisées pour l'apprentissage, mais pour vérifier que l'algorithme fait bien son boulot).

Je me souviens que pour le soucis homme blancs/noir, cela venait surtout du fait qu'il y avait beaucoup plus de données d'homme blancs que d'homme noirs, et l'IA était donc beaucoup moins précise dans le second cas.

C'est comme essayer d'apprendre a un algorithme de lire des chiffres et des lettres, mais lui donner 1000x plus d'images de chiffres.
A la fin le résultat sera biaisé, et ce n'est pas forcement la faute de l'algorithme, mais des données d'apprentissage.

Tout ça pour dire que quand il s'agit d'IA, c'est toujours bien plus compliqué qu'il n'y parait.

MikeRowSoft · 28/05/2018, 19h21

Envoyé par onilink_

Il faut donc des dizaines de millier de dossiers, mais en plus de ça, il faut que les données soient assez récentes pour représenter correctement la tendance actuelle.

Pari sportif, allons y (gain exonéré d'impôt).

Courses de chevaux ou mondiale de foot 2018 ?

C'est de la prémonition façon poulet ou poulpe (hasard qui fait bien les choses

/

, la chance de trouver " l'élément " qui permet de pas se tromper ?)...

**cryptonym** · 29/05/2018, 09h41

Envoyé par Matthieu76

Moi je ne pense pas que l'IA soit biaisée, c'est la société qui est biaisée. L'IA ne fait qu'apprendre sur ce qu'elle voit.

L'IA essaye de trouver des corrélations entre les données et génère un modèle dans lequel ces corrélations deviennent des implications. Donc oui, l'IA apprend ce qu'elle voit, le problème c'est qu'elle le fait très très "bêtement". Ce raisonnement simpliste est la source de ces biais.

A nous de l'entrainer avec les bonnes données et les bons réglages, le but de ces outils c'est de détecter des situations où les critères ne sont pas pertinents et faussent les prédictions. L'article parle de discriminations raciales et sexistes mais ça pourrait être autre chose, par exemple, des biais peuvent se retrouver dans des IA chargées de repérer des tumeurs cancéreuses. Mais c'est certain que c'est plus vendeur de faire un article avec du sexisme et de la discrimination raciale

C'est un tâche très complexe d'analyser le modèle généré et c'est une bonne chose de développer plus d'outils pour l'observer et détecter des situations problématiques.

**Neckara** · 29/05/2018, 09h45

Sauf que...

La classification est probabiliste, ce n'est pas parce qu'une personne classée à haut risque ne récidive pas, et qu'une personnes classée à bas risque récidive, que cela invalide le modèle. De plus, ces classifications ont, je présumes, des conséquences. Dès lors, il est difficile de savoir, e.g. si la personne classée à haut risque n'a pas récidivé, du fait de sa classification à haut risque et de ce qu'elle implique. Sachant qu'aucune indication de la performance du système ne nous est donnée.

Ces classifications s'appuient sur des corrélations (pas des causalités, nous sommes bien d'accord). Que cela vous paraisse choquant, ou contre-intuitif ne change rien à la réalité des corrélations existantes. Un programmeur est le plus souvent un homme, est-ce si étonnant qu'une IA fasse le rapprochement, qui est statistiquement "vrai" ? De même, la couleur de peau est corrélée à un niveau de richesse, lui-même corrélé à un niveau de criminalité. Les probabilités déduites, à partir des informations reçues par l'IA sont donc statistiquement "vraies".

Certes, ce ne sont pas les informations les plus pertinentes, et il faudrait plus s'appuyer sur des causalités que sur des corrélations. Mais de là de parler d'un "biais", alors même que les probabilités, en connaissance des informations données, sont statistiquement "vraie", c'est abusif. Certes, ce sont aussi des généralisation... mais c'est un peu le principe même des probabilités... Si 90% des X sont des Y, si je prends aléatoirement un X, sans autre informations, je pourrais en déduire que j'ai 90% que ce X soit un Y. Ce qui ne veut pas dire que tous les X sont des Y.

L'IA va aussi se "tromper", tout simplement car ce sont des approches probabilistes, et que les approches déterministes n'existent pas, et n'existeront jamais. On va donc devoir faire avec des faux-positifs, et des faux-négatifs, mais c'est le principe même de ce genre d'approches. Ou comment s'indigner sur rien.

Le vrai problème de l'IA est que ses résultats ne nous plaisent pas c'est tout, pas qu'ils soient "bon" ou "mauvais".

MikeRowSoft · 29/05/2018, 11h56

C'est quand même utilisé pour "profiler" un individu dans ce cas.
De la psychologie, déduction/intention et plus encore...
Les séries TV sont peut-être loin de la réalité...
Sauf sur le coté temps réel et anticipation. (chance que cela se vérifie dans le cœur de l'action)

Les facteurs d'erreurs sont multiples en plus... Faire des sous divisions de catégories est déjà mettre en évidence qu'il a été comparé des choses qui n'ont aucun facteur de comparaison compatible...

Qui se douterait que les riches commettent des crimes ?
Qui se douterait qu'un porteur d'arme avec licence d'autorisation est probablement dangereux ?

**sergio_is_back** · 29/05/2018, 19h39

Ce qui me gêne le plus c'est la confiance un peu aveugle que certains placent dans l'IA... Ils devraient se souvenir que ce n'est qu'un outil (parmi d'autres) qui permet de dégager une tendance, de se donner des axes de réflexion, mais pas une vérité surtout quand il s'agit du comportement humain (soumis à un contexte de surcroit) et de l'avenir (dont on sait par la prédiction qu'il est particulièrement difficile à prévoir)... A se demander si de l'intelligence ils en ont....

Quand à utiliser une IA pour chercher des biais dans une autre IA ? N'aura t-elle aucun biais elle-même ?
A quand une IA qui cherche des biais dans l'IA qui cherche les biais ?

**Neckara** · 29/05/2018, 19h47

C'est très simple, en France il est illégal de produire des décisions à valeur juridique exclusivement via une IA.

Il faut que la décision finale soit prise par un humain.

**sergio_is_back** · 29/05/2018, 20h29

Envoyé par Neckara

C'est très simple, en France il est illégal de produire des décisions à valeur juridique exclusivement via une IA.

Il faut que la décision finale soit prise par un humain.

Oui aujourd'hui mais..... jusqu’à quand ?

Même si l'IA fait des progrès dans les années futures, rien ne dit qu'elle sera moins biaisée qu'aujourd'hui....
Ce qui est inquiétant c'est la facilité avec certains se déchargent volontairement de leur propre réflexion dessus...

C'est là le dilemme :

- Soit l'IA devient un outil utile et fait progresser la communauté
- Soit l'IA devient une plaie et fini par ne servir principalement qu'à la publicité ciblée, au placement de produit, etc... comme le big data actuellement (et au passage à deux trois truc moins avouables dans des pays pas trop démocratiques)

Vu mon expérience, malheureusement je penche un peu vers la deuxième option !

**ShigruM** · 29/05/2018, 20h49

Envoyé par sergio_is_back

Quand à utiliser une IA pour chercher des biais dans une autre IA ? N'aura t-elle aucun biais elle-même ?
A quand une IA qui cherche des biais dans l'IA qui cherche les biais ?

Quand à utiliser une police pour chercher des problèmes dans une autre police ? N'aura t-elle aucun probleme elle-même ?
A quand une police des polices des polices ?

**Matthieu Vergne** · 29/05/2018, 20h53

Envoyé par Neckara

les approches déterministes n'existent pas, et n'existeront jamais.

Pour autant que je sache, les systèmes experts en sont pourtant un bon exemple.

**sergio_is_back** · 29/05/2018, 21h04

Envoyé par onilink_

Tout d'abord il faut avoir de "bonnes" données, et rien que la que ça devient compliqué, surtout dans des domaines assez subjectifs comme ici.

La base de tout algorithme : shit in = shit out (fusse de l'IA, du Deep Learning ou n'importe quoi d'autre)

Envoyé par Matthieu Vergne

Pour autant que je sache, les systèmes experts en sont pourtant un bon exemple.

Si à ton système expert tu lui fournit des données de merde, il te sortira des résultats de merde. CQFD !

Le problème qui est invoqué plus haut est qu'en gros on essaye de "probaliser" un comportement humain (un risque de passage à l'acte), c'est très difficile pour ne pas dire impossible car le comportement humain est influencé par son vécu, son environnement, les interactions avec ses semblables et encore, sans doute, mille autres facteurs... Les données qui ont été fourni à l'IA qui produit ces résultats dataient de quand ? Un an, deux ans auparavant ? La situation sociale des individus a peu être évoluée entre temps... De plus visiblement l'IA a aussi "avalé" une montagne de statistiques sur les délits (les noirs sont sur-représentés dans celles-ci) en même temps que le pédigrée des individus...

**Matthieu Vergne** · 29/05/2018, 23h00

Envoyé par sergio_is_back

Si à ton système expert tu lui fournit des données de merde, il te sortira des résultats de merde. CQFD !

Je n'ai jamais dit qu'un système expert avait toujours raison. Mon commentaire se focalisait sur le point précis du déterminisme : les approches existent, on a même commencé par là. Le gros soucis de ces méthodes étant qu'il est très coûteux de construire les règles d'inférences car il faut des experts humains pour les donner.

Avec le machine learning, il "suffit" de la récolter, la difficulté étant avant tout d'en avoir une quantité suffisante. De là on est capable d'appliquer du machine learning dessus pour reproduire les comportements qu'on y trouve. Nul besoin d'expert pour cela.

Le problème est qu'on espère avoir les résultats du premier avec la facilité du deuxième. Et quand on se rend compte qu'il faut encore un expert pour fournir une base de donnée "propre", qui permette effectivement d'obtenir les comportements qu'on cherche à reproduire (et non bêtement ceux qui s'y trouvent), et bien c'est retour à la case départ. Au final, on a les même besoins qu'un système expert, à la différence près qu'il faut être expert en stats plutôt qu'en logique, en plus d'être expert dans le domaine à considérer pour savoir ce qui est pertinent à avoir.

**Neckara** · 30/05/2018, 06h48

Oui attention.

Je parle bien des approches dans ce type de problèmes. Je ne parle pas non plus d'algorithmes probabilistes.

D'une part, tes résultats seront toujours des probabilités, s'appuyant sur des corrélations, et tu vas établir des seuils arbitraires pour prendre une décision. Ce n'est donc pas une réponse binaire, mais une probabilité. Le comportement humain n'étant pas mécanique (malheureusement une grande partie des sociologues oublient souvent de parler de la diversité des résultats d'expériences et se focalisent uniquement sur le résultat "impressionnant"), avec pour le moment aucune preuve de son déterminisme. Ainsi, on ne détermine pas le résultat, mais on donne une probabilité.

Ensuite, pour certains systèmes, e.g. biométrique, un utilisateur n'aura pas les même résultats du fait de légères variations de captures. Avec des possibilités d'usurpations de personnes ayant un template biométrique proche. Ici on utilise une photo, avec plusieurs photo différentes d'un même individu, nous n'auront pas exactement les mêmes probabilités.

**sergio_is_back** · 30/05/2018, 08h36

Envoyé par Matthieu Vergne

Je n'ai jamais dit qu'un système expert avait toujours raison. Mon commentaire se focalisait sur le point précis du déterminisme : les approches existent, on a même commencé par là. Le gros soucis de ces méthodes étant qu'il est très coûteux de construire les règles d'inférences car il faut des experts humains pour les donner.

Avec le machine learning, il "suffit" de la récolter, la difficulté étant avant tout d'en avoir une quantité suffisante. De là on est capable d'appliquer du machine learning dessus pour reproduire les comportements qu'on y trouve. Nul besoin d'expert pour cela.

Le problème est qu'on espère avoir les résultats du premier avec la facilité du deuxième. Et quand on se rend compte qu'il faut encore un expert pour fournir une base de donnée "propre", qui permette effectivement d'obtenir les comportements qu'on cherche à reproduire (et non bêtement ceux qui s'y trouvent), et bien c'est retour à la case départ. Au final, on a les même besoins qu'un système expert, à la différence près qu'il faut être expert en stats plutôt qu'en logique, en plus d'être expert dans le domaine à considérer pour savoir ce qui est pertinent à avoir.

J'avais pris un raccourci mais nous sommes d'accord sur le fond : Des données mal dégrossies à l'entrée ne fourniront pas des tendances fiables en sortie et ce qu'elle que soit l'approche technologique employée.