Amazon révèle que son outil automatique de recrutement exerce une discrimination contre les femmes

Version imprimable

10/10/2018, 22h24
Bill Fassinou

1 pièce(s) jointe(s)

Amazon révèle que son outil automatique de recrutement exerce une discrimination contre les femmes

Amazon révèle que son outil automatique de recrutement exerce une discrimination contre les femmes
et décide de le suspendre

Depuis 2014, Amazon a commencé à concevoir des programmes informatiques visant à examiner les parcours, les profils et les qualifications de candidats à un poste afin de sélectionner le ou les meilleurs du lot. Le système expérimental était basé sur une intelligence artificielle qui attribuait aux postulants un score situé entre une et cinq étoiles. « Tout le monde voulait ce Saint Graal. Ils voulaient littéralement que ce soit un moteur qui pourrait, après avoir reçu 100 CV, en dégager les cinq meilleurs postulants, afin qu’ils puissent les engager », explique une personne proche du dossier.

Lorsque la firme de Jeff Bezos concevait son outil, elle a fait en sorte que les nouvelles candidatures soient examinées en observant les modèles de CV reçus par l’entreprise au cours des dix dernières années. Le piège était là. Puisque la majorité des candidats étaient des hommes, l’intelligence artificielle a développé une sorte de comportement discriminatoire consistant à mieux noter les candidatures masculines que celles féminines. En autodidacte, le système a donc appris que les candidatures masculines étaient plus dignes d’intérêt que celles féminines.

Pièce jointe 418761

Il avait commencé à pénaliser les candidatures contenant les mots clés « pour femmes ». Des personnes proches du dossier ont même déclaré que l’intelligence artificielle en est même venue à déclasser deux diplômées d’écoles exclusivement « pour femmes ». Peu après, l’entreprise de Jeff Bezos a fait quelques ajustements sur le système afin que ces mots clés ne soient plus ciblés, mais absolument rien ne garantit que le programme soit devenu et resté entièrement neutre après ces ajustements.

En dehors de la discrimination basée sur le genre, le système était également extrêmement peu précis dans ses résultats, ce qui aboutissait sur des recommandations « hasardeuses ». Des candidats pas ou peu qualifiés étaient donc proposés pour pourvoir à des postes souvent au-delà ou en dehors de leurs champs de compétences. Le projet semblant donc se diriger vers une impasse, Amazon a décidé d’y mettre fin. L’entreprise n’a pas souhaité s’étendre en commentaires sur le projet avorté mais a tenu à réaffirmer son engagement en faveur de la diversité et de l’égalité sur les lieux de travail.

Cela ne veut cependant pas dire qu’on doive définitivement tirer un trait sur le recrutement assisté par intelligence artificielle. En effet, selon un sondage de 2017 réalisé par CareerBuilder, une entreprise de recrutement en ligne , 55 % des directeurs des ressources humaines aux USA sont fermement convaincus que l’intelligence artificielle finirait par s’intégrer à leur travail quotidien. Néanmoins, bien que les opinions souvent subjectives des recruteurs puissent représenter un problème pour les employeurs, il y a encore un long chemin à parcourir avant que ces opinions puissent être remplacées par des analyses froides et pragmatiques d’intelligences artificielles. Cela, l’informaticien Nihar Shah l’exprime clairement lorsqu’il se demande « comment être sûr que l’algorithme est juste » et « comment s’assurer qu’il est vraiment interprétable et explicable ». Il conclut que le moment ou l’intelligence artificielle pourra gérer efficacement des recrutements avec une infime marge d’erreur admise est encore « assez loin ».

Les internautes se sont prononcés sur la question. Ils expliquent que ceci est encore une preuve que l’apprentissage automatique était encore largement perfectible. Cependant, un petit groupe d’internautes a présenté la situation sous un nouvel angle. Ils expliquent que par essence, un système de recrutement est censé faire une discrimination, recommandant les meilleurs candidats au détriment de tous les autres. Ils expliquent également qu’il peut arriver qu’un groupe soit plus représenté que tous les autres parmi les meilleurs et que cela ne résultait pas nécessairement d’une discrimination. Pour eux, tout ce qui peut être perçu comme un comportement discriminatoire du système peut ne pas nécessairement en être un.

Source : Reuters

Et vous ?

:fleche: Qu’en pensez-vous ?
:fleche: Feriez-vous confiance à un algorithme IA pour gérer les recrutements dans votre entreprise ? Pourquoi ?

Voir aussi

:fleche: Sondage : quels sont les meilleurs langages de programmation pour l'IA ? Quels sont vos critères ?

:fleche: Microsoft veut renforcer son Plan IA en France avec 9 écoles supplémentaires après la première créée en mars dernier

:fleche: L'IA représenterait un plus grand risque pour l'humanité que les changements climatiques et le terrorisme, selon un expert

:fleche: Une IA bat 15 médecins humains dans un concours de diagnostic de tumeurs cérébrales un autre témoignage de l'importance de l'IA dans la santé ?

:fleche: IA : des scientifiques du MIT conçoivent un algorithme capable d'interpréter des images pour répondre à des questions sur leur contenu
11/10/2018, 10h57
Buffet_froid

Citation:

Puisque la majorité des candidats étaient des hommes, l’intelligence artificielle a développé une sorte de comportement discriminatoire consistant à mieux noter les candidatures masculines que celles féminines. En autodidacte, le système a donc appris que les candidatures masculines étaient plus dignes d’intérêt que celles féminines.

Logique.
Si on a 80% d'hommes et 20% de femmes parmi les candidats, n'est-il pas absurde et injuste de chercher à embaucher 50% d'hommes et 50% de femmes ?

Citation:

L’entreprise n’a pas souhaité s’étendre en commentaires sur le projet avorté mais a tenu à réaffirmer son engagement en faveur de la diversité et de l’égalité sur les lieux de travail.

La diversité, oui, tant qu'on reste dans la norme...
Quant à l'égalité, pourquoi un système capitaliste libéral, basé sur la concurrence entre individus, accorde-t-il plus de confiance aux hommes plutôt qu'aux femmes ? N'est-ce pas se tirer une balle dans le pied que de payer les hommes plus cher, si ceux-ci sont strictement égaux aux femmes ? Pourquoi dans ce cas précis, la "main invisible" serait-elle biaisée ?

Citation:

Ils expliquent que par essence, un système de recrutement est censé faire une discrimination, recommandant les meilleurs candidats au détriment de tous les autres.

Un recrutement est en effet discriminatoire par nature.
Passés les dizaines de points "objectifs", mesurables, permettant de faire le tri, on se retrouve avec plusieurs candidats à peu près équivalents. A partir de là, c'est une question de préférence personnelle du recruteur et de la future équipe, c'est aussi une question de séduction - donc de mensonge, la séduction étant le propre du Malin - et sur ce point, je vous ferais remarquer qu'à compétences égales, une jolie femme de 26 ans aura infiniment plus de chances d'être acceptée qu'un homme quelconque ou que sa contemporaine physiquement moins bien gâtée par la nature (phénomène qui fait bien souvent l'objet de blagues ou de sketches, à défaut de faire hurler les zorros de l'égalité).

Face à cette mise en concurrence impitoyable, parallèlement à la marche en avant libérale, les individus ont tendance à se ranger dans des catégories qu'on pourrait qualifier de "minorité en souffrance" - les femmes, les gros, les noirs, les autistes, les personnes à mobilité réduite... - dans le but de tirer des privilèges et un statut d'exception parmi la masse.

Citation:

Néanmoins, bien que les opinions souvent subjectives des recruteurs puissent représenter un problème pour les employeurs, il y a encore un long chemin à parcourir avant que ces opinions puissent être remplacées par des analyses froides et pragmatiques d’intelligences artificielles.

Si on veut...

https://www.youtube.com/watch?v=7u3RrbNpRUQ
11/10/2018, 11h12
transgohan

Cela me choque au plus haut point...
Les ressources humaines il y a du social dans les objectifs... Pas uniquement du CA !
Or en mettant en place des IA pour trier on dégage purement et simplement le volet social.

Après une IA c'est souvent binaire, donc il suffit de savoir comment elle choisi pour faire le CV qui grossira les traits en question et passera à coup sûr...
Alors qu'un humain verra souvent la différence et le rejettera d'office car ne pouvant faire confiance à la personne.
11/10/2018, 11h22
Uther

Citation:

Envoyé par Buffet_froid

Logique.
Si on a 80% d'hommes et 20% de femmes parmi les candidats, n'est-il pas absurde et injuste de chercher à embaucher 50% d'hommes et 50% de femmes ?

Ce n'est pas là le problème. Si on a 80% de candidats homme aussi compétents que les candidats femme, ça ne serait pas anormal de retrouver un chiffre similaire pour les recrutements.
Mais là visiblement il y avait discrimination des femmes : ce qui signifie qu'à caractéristiques égales une femme avait moins de chance de se faire recruter. Au final le pourcentage d'hommes recruté aurait été bien supérieur à 80%
11/10/2018, 13h12
sirthie

C'est pas le but...

Citation:

Envoyé par Buffet_froid

Logique.
Si on a 80% d'hommes et 20% de femmes parmi les candidats, n'est-il pas absurde et injuste de chercher à embaucher 50% d'hommes et 50% de femmes ?

Pas logique : le but est de sélectionner les meilleurs des candidats quel que soit leur sexe, pas de sélectionner les meilleurs candidats en fonction de la représentation de chaque sexe parmi l'ensemble des candidats.

De plus il est aujourd'hui établi que la majeure partie des employeurs du secteur privé préfèrent recruter un homme qu'une femme même lorsque la femme a des compétences supérieures :

Deux tiers des employeurs préfèrent recruter un homme qu'une femme

Les recruteurs préfèrent les hommes ( ! )

Citation:

Envoyé par Buffet_froid

A partir de là, c'est une question de préférence personnelle du recruteur et de la future équipe, c'est aussi une question de séduction - donc de mensonge, la séduction étant le propre du Malin - et sur ce point, je vous ferais remarquer qu'à compétences égales, une jolie femme de 26 ans aura infiniment plus de chances d'être acceptée qu'un homme quelconque ou que sa contemporaine physiquement moins bien gâtée par la nature (phénomène qui fait bien souvent l'objet de blagues ou de sketches, à défaut de faire hurler les zorros de l'égalité).

Appelons ça l'avantage du décolleté et l'avantage de la forte poitrine. Mais précisément, toutes les candidates ne sont pas des blondes à forte poitrines et à décolleté plongeant (pour faire dans le stéréotype)...

... et tous les recruteurs ne sont pas des hommes : si les recruteurs sont des recruteuses, ils est établi que vos beautés se retrouveront au bas du classement de candidats.

J'en déduis donc qu'il suffirait, pour équilibrer les chances à l'embauche des candidats des diverse sexes et genres (soyons prudents) d'avoir une représentation des recruteurs proportionnelle à la représentation de leurs divers sexes et genres dans la population :)
11/10/2018, 13h19
Ryu2000

Statistiquement les parcours, les profils et les qualifications des candidats féminins étaient moins impressionnant que les candidats masculin et voilà...
11/10/2018, 13h23
23JFK

Il faudrait au moins connaître le ratio mâle/femelle de leurs échantillons de tests parce qu'il est à craindre que pour des raisons idéologique de l'air du temps, les dirigeants soient en train de vouloir du 50/50 en partant d'une base 90/10. Le biais ne serait alors pas du côté de l'IA.
11/10/2018, 14h44
hotcryx

Pour s'excuser, le tout nouveau algo Amazon va donc privilégier les femmes, au détriment des hommes! :?
11/10/2018, 14h44
sirthie

Objection ! Spéculation !

Citation:

Envoyé par Ryu2000

Statistiquement les parcours, les profils et les qualifications des candidats féminins étaient moins impressionnant que les candidats masculin et voilà...

"Objection ! Spéculation !" (New York Unité Spéciale) :)
11/10/2018, 14h54
Ryu2000

Citation:

Envoyé par sirthie

"Objection !"

Ben ya écrit ça :

Citation:

Envoyé par Bill Fassinou

Depuis 2014, Amazon a commencé à concevoir des programmes informatiques visant à examiner les parcours, les profils et les qualifications de candidats à un poste afin de sélectionner le ou les meilleurs du lot. Le système expérimental était basé sur une intelligence artificielle qui attribuait aux postulants un score situé entre une et cinq étoiles.

Citation:

Envoyé par Bill Fassinou

:fleche: Feriez-vous confiance à un algorithme IA pour gérer les recrutements dans votre entreprise ? Pourquoi ?

C'est pas forcément pire qu'un recruteur humain ^^
Après je comprend que le processus de recrutement soit compliqué, il est difficile de savoir si une personne sera un bon élément, c'est difficile à tester.
Il ne faut pas se baser à 100% sur le CV, parce que ça veut un peu rien dire...
Ce n'est pas parce que quelqu'un a un diplôme qu'il est doué.
11/10/2018, 16h56
sirthie

D'ailleurs, quand on s'appelle Amazon...

Citation:

Envoyé par hotcryx

Pour s'excuser, le tout nouveau algo Amazon va donc privilégier les femmes, au détriment des hommes! :?

D'ailleurs, quand on s'appelle Amazon...

Amazons
11/10/2018, 17h44
sinople

Au final en discriminant les femmes et en engageant des personnes pas compétente, le consultant qui a mis en place l'IA n'a fait que suivre scrupuleusement les processus déjà en vigueur.
11/10/2018, 17h51
Grogro

Citation:

Envoyé par transgohan

Cela me choque au plus haut point...
Les ressources humaines il y a du social dans les objectifs... Pas uniquement du CA !
Or en mettant en place des IA pour trier on dégage purement et simplement le volet social.

Après une IA c'est souvent binaire, donc il suffit de savoir comment elle choisi pour faire le CV qui grossira les traits en question et passera à coup sûr...
Alors qu'un humain verra souvent la différence et le rejettera d'office car ne pouvant faire confiance à la personne.

Attention, d'après ce que je comprends, cette IA pour le recrutement était un projet de recherche. Et Amazon a débranché le projet qui était dans l'impasse.

Une IA ne peut apprendre qu'à partir des données avec lesquelles on l'alimente.
11/10/2018, 19h28
Pyramidev

Citation:

That is because Amazon’s computer models were trained to vet applicants by observing patterns in resumes submitted to the company over a 10-year period. Most came from men, a reflection of male dominance across the tech industry.

Il y a un truc que je ne comprends pas. Sur quel critère le programme s'est-il basé pour savoir qu'un candidat était bon ? Je n'ai pas trouvé la réponse à cette question dans l'article.

Si on cherche des corrélations entre la compétence d'un candidat et les mot-clefs de son CV, alors il faut partir d'un ensemble de personnes dont on a essayé de mesurer les compétences, par exemple en leur faisant passer des tests techniques, puis en regardant s'il y a des corrélations entre les compétences mesurées et les mots-clefs des CV. Dans ce cas, le fait qu'il y ait moins de femmes que d'hommes ne désavantage pas les femmes.

Un critère qui désavantagerait les femmes serait de considérer que les meilleurs CV sont ceux qui se rapprocheraient le plus de la moyenne des CV reçus. Mais un tel critère serait complètement stupide.
12/10/2018, 08h08
halaster08

Citation:

Envoyé par Pyramidev

Il y a un truc que je ne comprends pas. Sur quel critère le programme s'est-il basé pour savoir qu'un candidat était bon ? Je n'ai pas trouvé la réponse à cette question dans l'article.

Vu qu'apparemment ils basent leur Machine Learning sur leurs archives de CV reçu, je crois que le "bon" candidat c'est celui qui a été réellement embauché dans l'entreprise.