Cortana et Skype : Microsoft confirme avoir écouté les utilisateurs pour améliorer les services,
les sous-traitants auraient gagné entre 12 et 14 dollars par heure

Amazon Alexa

Amazon Alexa, plus connu sous le nom Alexa, est un assistant virtuel développé par Amazon et utilisé pour la première fois dans les enceintes intelligentes Amazon Echo et Amazon Echo Dot. Il est capable d'interaction vocale, de jouer de la musique, de lister des tâches à effectuer, de régler des alarmes, de diffuser des podcasts, de lire des livres audio et de fournir des informations sur la météo, la circulation, les sports et d'autres informations en temps réel telles que les actualités.

Il y a quelques mois, nous avons appris que les employés d'Amazon qui travaillent à améliorer son assistant vocal écoutent les enregistrements vocaux de ce qui se dit dans les maisons et les bureaux des propriétaires d’Echo, lorsque ce dernier est activé. Ces employés peuvent écouter jusqu'à 1000 enregistrements par jour.

En général, lorsque vous donnez un ordre à un périphérique Amazon Echo, seul le logiciel de reconnaissance vocale d'Amazon écoute. Mais, il a été découvert qu'une copie de l'audio est envoyée à un humain dans l'un des bureaux d'Amazon dans le monde. Cette personne écoute l'enregistrement audio, le transcrit et ajoute des annotations pour aider les algorithmes d'Amazon à s'améliorer. Les enregistrements incluent à la fois des commandes Alexa explicites et des conversations en arrière-plan.

Amazon a déclaré qu'un nombre « extrêmement faible » d'enregistrements Alexa étaient annotés afin d'améliorer ses systèmes de reconnaissance vocale.

Nom : amazon_echo.jpg
Affichages : 1186
Taille : 6,7 Ko

Google Assistant et Siri d’Apple

Sur la base de multimédias diffusés par les lanceurs d'alerte, les médias ont récemment annoncé que Google utilisait son assistant vocal Google Home pour évaluer les enregistrements vocaux afin d'améliorer les capacités de reconnaissance vocale de Google Assistant. Dans ces évaluations, les employés de Google ou de sociétés mandatées entendent les enregistrements vocaux et les transcrivent pour analyser si les informations acoustiques enregistrées ont été traitées correctement par le système sous-jacent, une pratique que Google a reconnu dans un billet de blog.

En effet, le mois dernier, Google a confirmé que des travailleurs tiers analysant les données vocales d'Assistant avaient divulgué des conversations néerlandaises privées. Le radiodiffuseur public belge VRT NWS a déclaré que plus de 1 000 fichiers avaient été divulgués, y compris des enregistrements de cas où des utilisateurs avaient accidentellement déclenché le logiciel de Google.

Nom : google.png
Affichages : 1255
Taille : 269,7 Ko

Les entrepreneurs Apple auraient également entendu des enregistrements privés, y compris des informations médicales, selon un rapport publié le mois dernier. Apple a confié qu'une « petite partie » des données est utilisée pour améliorer Siri et les commandes vocales.

Toutefois, dans un communiqué, Apple a expliqué « Pendant que nous effectuons un examen approfondi, nous suspendons l’analyse des conversations Siri au niveau mondial. De plus, dans le cadre d’une future mise à jour logicielle, les utilisateurs auront la possibilité de choisir de participer au programme ». L'entreprise va donc introduire bientôt une option de consentement qui n’existait pas jusqu’ici.

Microsoft Cortana

Apple, Google, Amazon et, plus récemment, Facebook ont ​​été trouvés en train d'embaucher des travailleurs humains pour transcrire l'audio capturé avec leurs propres produits.

Un cache de documents qui ont fuités, obtenu par MB, donne un aperçu de ce que font les travailleurs humains derrière le développement des services d’intelligence artificielle des grandes enseignes numériques : des tâches laborieuses et répétitives conçues pour améliorer l’interprétation automatisée de la parole humaine. En fait, les assistants virtuels sont entraînés en partie par le travail monotone de ces personnes.

« Le gros du travail que j'ai effectué pour Microsoft était axé sur l'annotation et la transcription des commandes Cortana », a déclaré un sous-traitant de Microsoft sous couvert de l’anonymat, une condition nécessaire pour parler plus franchement des processus internes de Microsoft en plus du fait qu'elle avait signé un accord de confidentialité.

Les manuels d'instructions sur la classification de ce type de données couvrent des centaines de pages, avec un nombre vertigineux d'options à suivre pour les sous-traitants afin de classer les données, ou des guides de style de ponctuation qu'ils doivent suivre. Le contractant a déclaré qu'ils devraient travailler sur environ 200 données par heure et a déclaré avoir entendu des informations personnelles et sensibles dans les enregistrements Cortana. Un document obtenu par MB confirme que pour certains travaux, les sous-traitants doivent effectuer au moins 200 tâches à l'heure.

Nom : cortana.jpg
Affichages : 1185
Taille : 21,3 Ko

Un salaire compris entre 12 et 14 dollars par heure

Le salaire pour ce travail varie. Un contrat obtenu par MB indique que le salaire est de 12 dollars de l’heure, avec la possibilité pour les sous-traitants d’atteindre 13 dollars l’heure en bonus. Un contrat pour une tâche différente indique 14 $ l'heure, avec un bonus potentiel de 15 $ l'heure.

Une partie du matériel de formation porte en particulier sur la manière dont la commande de déclenchement « Hey, Cortana » est prononcée dans différentes langues et accents, y compris des variantes de l’anglais en allemand, chinois, japonais et australien, canadien et américain.

Notamment, un document demande aux contractants de transcrire un mot « Cortana » même si l'utilisateur a mal prononcé Cortana en disant par exemple « Cortona » ou « Cortina », parce que Microsoft croit que l'activation de Cortana était intentionnelle.

« Certaines tâches nous obligent à mettre clairement en évidence les noms propres liés à un contact ou à d'autres informations personnelles », a déclaré le contractant.

Un porte-parole de Microsoft a déclaré à MB dans un courriel : « Nous cherchons toujours à améliorer la transparence et à aider les clients à faire des choix plus éclairés. Nos divulgations indiquaient clairement que nous utilisions le contenu client de Cortana et Skype Translator pour améliorer ces produits. Nous nous appuyons sur l’expertise de parties tierces pour nous assister dans ce processus, et nous prenons des mesures pour anonymiser ce contenu afin de protéger la vie privée des personnes ».

En quoi consiste le travail ?

L'une des tâches principales des sous-traitants utilisant les données Cortana consiste à les classer.

Les sous-traitants sont invités à insérer chaque transcription dans un « domaine » ou un sujet. Ces plus de deux douzaines de domaines incluent « Calendrier » pour tout ce qui concerne les rendez-vous, « Alarme » pour les commandes liées aux temps et « Capture » pour les tâches impliquant l'utilisation de l'appareil photo. Les autres domaines incluent les jeux, la messagerie électronique, la communication, les commentaires, les événements, la domotique, les notes, le contrôle des médias et« Commander de la nourriture », selon les documents. Le domaine « Commun » concerne les commandes génériques qui pourraient s’inscrire dans plusieurs domaines, ajoutent les documents.

Chaque domaine a alors plusieurs « intentions » différentes. Pour le domaine des alarmes, cela inclut définir une alarme, la désactiver, trouver une alarme, modifier l’alarme, répéter, mettre une minuterie, trouver une minuterie, etc.

Les sous-traitants de Microsoft analysent ces commandes Cortana, puis décident du domaine et de l’intention appropriés. Un autre document montre comment les intentions sont fréquemment supprimées ou ajoutées à différents domaines, offrant ainsi aux sous-traitants davantage de classificateurs avec lesquels travailler.

Certains documents audio font également référence à la « double intention », lorsqu'un utilisateur demande à Cortana d'effectuer deux tâches à la fois, ce que doit également rechercher un sous-traitant, ajoute le document.

Une mise à jour de la politique en matière de confidentialit

Microsoft a décidé de mettre à jour sa politique en matière de confidentialité afin de clarifier la situation. Que ce soit pour Cortana ou pour le service de traduction sur Skype, on peut désormais lire une même tournure de phrase. C'est la partie en gras ci-dessous qui est nouvelle :
  • Cortana :« Lorsque vous parlez à Cortana ou à d’autres applications utilisant des services vocaux Microsoft, Microsoft enregistre une copie de vos enregistrements vocaux (à savoir, vos données vocales) pour aider nos moteurs de reconnaissance à mieux vous comprendre et optimiser votre expérience avec d’autres services de reconnaissance vocale personnalisés qui vous aideront à trouver ce que vous recherchez. Cela peut inclure la transcription des enregistrements audio par des employés et fournisseurs Microsoft, sous réserve des procédures conçues pour hiérarchiser la confidentialité des utilisateurs, y compris les étapes de désidentification des données, nécessitant des contrats de non-divulgation avec les fournisseurs et leurs employés, et demandant aux fournisseurs de respecter les strictes normes de confidentialité définies dans la législation européenne et ailleurs. ».
  • Skype :« Lorsque vous utilisez les fonctionnalités de traduction de Skype, Skype recueille et utilise votre conversation pour améliorer les produits et services Microsoft. Dans le but d’entraîner et développement la technologie de traduction et de reconnaissance vocale, les phrases et transcriptions automatique sont analysées et les corrections éventuellement apportées entrées dans notre système afin de rendre les services plus performants. Cela peut englober la transcription d’enregistrements audio par des employés et des fournisseurs de Microsoft, sous réserve de procédures conçues pour protéger la confidentialité des utilisateurs, notamment en prenant des mesures pour anonymiser les données, exiger des accords de confidentialité des fournisseurs et de leurs employés et imposer aux fournisseurs de respecter les normes strictes en matière de respect de la vie privée définies dans la législation européenne et ailleurs ».

Source : Support Microsoft (Cortana, Skype) MB

Et vous ?

Vous doutiez-vous que les données vocales de certaines applications faisant appel aux services vocaux étaient analysés ?
La réaction de Microsoft est-elle appropriée ? Pourquoi ?
Que pensez-vous des tâches des sous-traitants ? De leur salaire ?

Voir aussi :

Amazon explique pourquoi son enceinte connectée Echo a enregistré une conversation puis l'a envoyée à un contact
Amazon confirme que les enregistrements vocaux des clients d'Alexa sont conservés pour toujours, tant qu'ils ne les suppriment pas manuellement
Si vous vous souciez de la vie privée, faut-il jeter vos appareils Amazon Alexa par la fenêtre ? L'équipe d'Alexa pourrait vous localiser