Discussion :

[Patrick Ruiz]

Des tiers écoutent ce que vous dites à Google Home au motif de ce qu’il faut améliorer l'IA
D'après Google

Google Home est une famille d’enceintes connectées à Internet que la firme de Mountain View associe à un programme informatique qui leur confère de « l’intelligence. » Dans le jargon du milieu, on parle d’assistant personnel intelligent et, du côté de la firme de Mountain View, c’est l’application Google Assistant que l’on retrouve aussi sur les smartphones qui officie.

Dans le principe, l’assistant personnel associé à un appareil (enceinte connectée, smartphone) est conçu pour recueillir les commandes vocales émises par un utilisateur. Ces dernières sont transmises à un serveur distant qui les analyse et donne suite à la requête que l’utilisateur a formulée. Le processus d’enregistrement est lancé par une commande vocale dédiée, ce qui suppose que sans elle rien ne se passe.

La Fondation de radio-télévision néerlandaise a obtenu une dizaine de tels enregistrements d’un collaborateur de Google – un employé d’un sous-traitant de la firme de Mountain View – qui, pour faire montre de crédibilité, a présenté son contrat de travail. L’organisme de la radiodiffusion flamande VRT est, par le même biais, rentré en possession d’un millier de contenus audios.

Dans ses conditions d’utilisateur, la firme de Mountain View n’est pas explicite à ce propos, mais ce qu’il faut bien souligner certains enregistrements sont passés en revue par des opérateurs humains. Le collaborateur de Google qui a tenu a resté sous anonymat l’a fait savoir. « Il est important que les gens se rendent compte que des tiers écoutent ces contenus », dit-il.

Ce dernier reçoit de Google quelques centimes par enregistrement pour écrire ce qu’il entend. « Sur les extraits, vous pouvez entendre comment des gens demandent à Google Home de régler l'alarme ou de vérifier les heures d'ouverture d'un magasin. D'autres demandent à Google de jouer leur musique préférée ou posent une question ludique pour tester l'appareil. Mais selon l'employé de Google, il lui arrive parfois d'entendre des commandes vocales très personnelles, par exemple des hommes qui demandent à Google de chercher des contenus pornographiques.

L’employé rapporte qu’il arrive aussi que l'enceinte connectée de la firme de Mountain View enregistre sans mot clé d'activation (Ok Google). Résultat des courses : certains audios n’ont rien à voir avec des commandes vocales destinées aux systèmes de Google. Il dit avoir écouté une douzaine d’échanges du type querelles ou conversations intimes. « Je me souviens d'un long extrait dans lequel j'ai senti qu'il y avait de la violence physique, dans lequel quelqu'un était dans le besoin, avec beaucoup de bruits de fond », rapporte la Fondation de radio-télévision néerlandaise.

Google a riposté à ces développements via un un billet de blog qui classe la fuite comme une faille de sécurité occasionée par le sous-traitant. L'entreprise a expliqué que ce processus d'examen est nécessaire pour que ses produits fonctionnent bien dans plusieurs langues, ce, bien que le même processus existe pour les enregistrements en anglais.

« Nous travaillons avec des experts en langues du monde entier pour améliorer nos technologies de traitement de la parole. Nous nous appuyons sur des transcriptions faites à partir d'un petit nombre de clips audio. Ce travail est crucial pour le développement de la technologie qui rend possible des produits tels que l'assistant Google. Les experts en langues ne passent en revue qu'environ 0,2 % de tous les clips audio qui ne sonte pas liés à des données personnelles. Nous avons récemment appris que l'un de ces experts en langue aurait violé notre politique de sécurité des données en divulguant des clips audio en néerlandais. Nous enquêtons de façon active sur cette affaire et lorsque nous constatons une violation de notre politique, nous prenons des mesures rapides qui peuvent aller jusqu'à la résiliation de notre contrat avec le partenaire », a déclaré Google en réponse aux publications liées à ces développements.

Ces derniers ne sont pas sans faire penser à ceux qui concernent un concurrent direct de la firme de Mountain View dans la filière des assistants personnels vocaux – Amazon. Il y a peu, le géant mondial du commerce en ligne a confirmé qu’il conserve les enregistrements vocaux obtenus via Alexa tant que les utilisateurs ne les suppriment pas. L’entreprise constitue ainsi une base de données de contenus audios dans laquelle ses employés peuvent puiser. Derrière, il y a un travail d’écoute, de transcription et d’annotation qui est fait par ces derniers.

Comme Google, Amazon a indiqué que ces employés ne passent en revue qu’un très faible échantillon d’enregistrements vocaux Alexa. En sus, l’entreprise a fait savoir que ces employés n’ont pas directement accès aux informations permettant d’identifier la personne ou le compte dans le cadre de ce flux de travail. Amazon se veut claire sur ceci que les opérations de traitement de données sont menées avec le terme confidentialité comme maître mot.

« Nous prenons au sérieux la sécurité et la confidentialité des informations personnelles de nos clients. Nous n'annotons qu'un nombre extrêmement faible d'interactions provenant d'un ensemble aléatoire de clients afin d'améliorer l’expérience de nos clients. Par exemple, ces informations nous aident à former nos systèmes de reconnaissance vocale et de compréhension du langage naturel, afin qu'Alexa puisse mieux comprendre vos demandes, ou nous assurer que le service fonctionne au mieux pour tout le monde. Nous mettons en œuvre des garanties techniques et opérationnelles strictes et avons une politique de tolérance zéro envers les abus sur notre système. Dans ce cadre, les employés n'ont pas d'accès direct à des informations qui leur permettraient d'identifier une personne ou un compte. Nous traitons toutes les informations avec la plus grande confidentialité, utilisons l'authentification multifactorielle pour restreindre l'accès, le cryptage du service et les audits de notre environnement de contrôle pour le protéger, et les clients peuvent également supprimer leurs interactions vocales avec Alexa à tout moment », a répondu l’entreprise.

Source : Fondation de radio-télévision néerlandaise, Google

Et vous ?

Qu’en pensez-vous ?

Aviez-vous connaissance de ce que ces enregistrements sont écoutés à nouveau par des humains ?

Cette approche est-elle d'une absolue nécessité en matière d'intelligence artificielle ?

Voir aussi :

Amazon atteint 100 millions de vente d'appareils intégrant Alexa, son assistant vocal intelligent
Amazon révèle que plus de 10 000 employés travaillent sur Alexa ainsi que sur les appareils Echo qu'il alimente
Alexa, le système vocal intelligent d'Amazon compte environ 80 000 applications dans son Store, mais aucune de vraiment célèbre

[Anselme45]

Des tiers écoutent ce que vous dites à Google Home au motif de ce qu’il faut améliorer l'IA, d'après Google

2 conclusions s'imposent:

1. Contrairement à ce que vend Google (mais c'est la même chose pour Amazon & co), l'IA de leur "machins-choses" n'est pas aussi efficace que vendue et il faut des humains pour cacher l'incompétence de l'IA.

Google n'a rien inventé: En 1770, un certain Johann Wolfgang von Kempelen a présenté à tous les monarques d'Europe sont "automate joueur aux échec" appelé le "Turc mécanique" (il faut imaginer un meuble sur lequel est disposé le jeu d'échec et un mannequin habillé en Turc qui manipule les pièces du jeu d'échec). En réalité, ce n'était pas l'automate qui jouait aux échecs mais un nain (tout ce qu'il y a de bien humain) qui était caché dans le meuble!!!


2. Contrairement à ce qui est vendu, la vie privée des clients est violée; les clients ont payé pour avoir un espion dans leur salon!

[sergio_is_back]

M'en fout : "Si, la prince elle parle français mais elle parle pas à toi !"

[Bill Fassinou]

Un prestataire de Google a divulgué plus de mille enregistrements vocaux de Google Assistant
ce que déplore l'entreprise

Les technologies d’assistance vocale ont fait irruption dans nos vies depuis l’avènement de l’Internet des Objets (IdO) et se développent à une vitesse sans précédent. Mais, ce que beaucoup ignorent peut-être est que ce développement nécessite une atteinte à la politique de confidentialité des données que ces petits objets enregistrent. Google, Amazon, tout comme les autres entreprises qui développent des technologies d’assistance vocale estiment que pour assurer l’avancée de la technologie, les enregistrements audios des utilisateurs sont enregistrés et analysés par certains de leurs employés qu’ils appellent des experts en langue.

Cette semaine, un employé de Google, un employé parmi ceux que Google appelle des experts en langue, a permis au média belge VRT NWS d’avoir accès à plus d’un millier d’enregistrements vocaux enregistrés via l’assistant vocal Google Home des utilisateurs. Le média a ensuite réalisé une vidéo pour mettre en évidence la façon dont les données vocales et les transcriptions issues des enregistrements faits par l’assistant Google Home sont gérées. Mis à par ce fait, ce dernier a également laissé les journalistes de VRT NWS consulter le logiciel utilisé pour réviser ou analyser les enregistrements. Le rapport confirme ce que beaucoup de personnes savent déjà, mais n’y a-t-il pas de risque ?

VRT NWS a pu écouter plus de mille extraits enregistrés via Google Assistant. Dans ces enregistrements, le média estime avoir clairement pu entendre les adresses, ainsi que d’autres informations sensibles des utilisateurs. « Cela nous a facilité la tâche de trouver les personnes impliquées et de les confronter aux enregistrements audio », a déclaré le média. Bien sûr, Google, Amazon et Apple, avec son assistant vocal intelligent Siri, ont toujours insisté sur le fait « qu’ils ne sont pas intéressés par ce que vous dites, mais par la façon dont vous le dites ». Cependant, écouter les enregistrements est un rappel frappant du fait que tout ce que vous dites à un assistant vocal ou dans son voisinage est enregistré.

Selon les explications fournies à VRT NWS, Google sous-traite la tâche d’écoute à des professionnels externes. Ils se connectent à une partie sécurisée de l'outil contenant une liste des extraits audio à analyser. Environ trois sources auraient confirmé que c'est ainsi que Google fonctionne. La reconnaissance vocale génère automatiquement un script des enregistrements. Les employés doivent ensuite vérifier pour décrire l'extrait le plus fidèlement possible : s'agit-il d'une voix de femme, d'un homme ou d'un enfant ? Qu'est-ce qu’ils disent ? Ils écrivent et décrivent avec soin tout ce qu’ils entendent. Pour Google, ces descriptions améliorent constamment ses moteurs de recherche, ce qui entraîne de meilleures réactions aux commandes.

Savoir que des personnes travaillant pour Google écoutent indirectement de tels enregistrements soulève des questions sur la confidentialité. Le média belge a rapporté que pour éviter que des extraits soient automatiquement liés à un utilisateur, les employés qui sont chargés d’analyser les transcriptions sont déconnectés des informations de l'utilisateur. Ils suppriment le nom d'utilisateur et le remplacent par un numéro de série anonyme. Mais, d’après la vidéo qu'il a présentée, ce dernier estime qu'il n'est nul besoin d’être un spécialiste des fusées pour retrouver l'identité de quelqu'un. Il vous suffira d’écouter attentivement ce qui se dit, a-t-il expliqué.

De plus, rapporte-t-il, s’ils ne savent pas comment écrit, un mot, un extrait, un nom, etc., ces employés doivent rechercher chaque mot, adresse, nom personnel ou nom de société sur Google ou sur Facebook. De cette manière, ils découvrent souvent rapidement l'identité de la personne qui parle. Le média belge a indiqué qu’il a écouté « plus de mille extraits, dont 153 étaient des conversations qui n'auraient jamais dû être enregistrées et au cours desquelles la commande “OK Google” n'a clairement pas été donnée ». « Mais dès que quelqu'un dans le voisinage prononce un mot qui sonne un peu comme “OK Google”, Google Home commence à enregistrer », a confirmé VRT NWS.

Cela signifie logiquement que de nombreuses conversations sont enregistrées de manière non intentionnelle. L’assistant a enregistré par exemple des conversations dans la chambre à coucher, des conversations entre parents et enfants, mais aussi des appels professionnels qui contiennent de nombreuses informations jugées confidentielles. Des enregistrements erronés peuvent également se produire lorsque quelqu'un appuie sur le mauvais bouton de son téléphone ou donne une commande par inadvertance. Ces informations sont enregistrées et stockées et risqueraient inévitablement d’être divulguées à des pirates informatiques, des gouvernements ou des organes de presse belges. Il arrive également des moments où les enregistrements concernent des agressions ou d’autres types de violence.

« L'une de nos trois sources indépendantes a déclaré qu'il avait dû décrire un enregistrement dans lequel il avait entendu une femme en détresse définitive », a indiqué VRT NWS. Que sont censés faire les employés avec ces informations ? Aucune directive claire n’a été spécifiée concernant de tels cas. C'est une question d'éthique importante. Selon le média, les employés reçoivent uniquement des instructions spécifiques concernant les numéros de compte et les mots de passe. Celles-ci sont marquées comme des informations sensibles. Google n’est cependant pas resté indifférent face à cette divulgation qu’il a qualifiée comme une faille de sécurité grave.

« Nous venons d'apprendre qu'un de ces réviseurs de langue a violé nos politiques de sécurité des données en divulguant des données audio néerlandaises confidentielles », a déclaré Google. Selon un porte-parole de l’entreprise, « ce travail est d’une importance cruciale pour développer des technologies permettant de maintenir des produits tels que Google Assistant ». D’après les indications de Google, seulement 0,2 % de tous les extraits audios sont examinés par ses experts en langue. Il a également ajouté que les extraits sonores ne sont pas associés aux comptes d'utilisateur dans le cadre du processus de révision. Les réviseurs ne doivent pas transcrire les conversations en arrière-plan ni d'autres bruits, mais uniquement les extraits qui sont dirigés vers Google.

Néanmoins, pour certaines personnes, ces objets, malgré leur utilité très précieuse, se révèlent de plus en plus comme étant le dispositif d’espionnage le plus sophistiqué jamais conçu. « Le gouvernement, le FBI, la NSA et les autres agences de renseignement dans les autres pays du monde ne se sont pas encore rendu compte du potentiel de surveillance énorme qu’offrent ces objets, ou ils le sont déjà et attendent de trouver la bonne stratégie pour l’exploiter. Ce qui est sûr, personne ne devra faire confiance à Google, Apple ou n’importe qui d’autre pour garantir sa sécurité et sa vie privée et la confidentialité de ses données si le gouvernement venait à réclamer les enregistrements vocaux de leurs assistants intelligents », ont-ils déclaré.

Sources : VRT NWS, Google

Et vous ?

Qu'en pensez-vous ?

Voir aussi

Amazon confirme que les enregistrements vocaux des clients d'Alexa sont conservés pour toujours, tant qu'ils ne les suppriment pas manuellement

Les travailleurs d'Amazon écoutent ce que vous dites à Alexa, son assistant vocal intelligent et en parlent dans un forum de discussion interne

Project Alias « pirate » les enceintes connectées Amazon Echo et Google Home pour protéger la vie privée des utilisateurs

Nest : la société est morte à Google I/O 2019, avec son écosystème, ses comptes, son pare-feu de confidentialité ; place maintenant à Google Nest

[bcag2]

C'est pour cela qu'il faut une/des alternatives libre(s) à ces GAFAM,
n'hésitez pas à participer à l'initiative de Mozilla dans ce sens : common voice
https://voice.mozilla.org/fr

[sergio_is_back]

C'est pour cela qu'il faut une/des alternatives libre(s) à ces GAFAM,
n'hésitez pas à participer à l'initiative de Mozilla dans ce sens : common voice
https://voice.mozilla.org/fr

Quand on ne veut pas être enregistré et écouté on invite pas ce genre de bestiole chez soi... De plus j'ai toujours pas compris l’intérêt de ces trucs là !

[onilink_]

Quand on ne veut pas être enregistré et écouté on invite pas ce genre de bestiole chez soi... De plus j'ai toujours pas compris l’intérêt de ces trucs là !

C'est simple, un tel système peut être en local, et donc toute reconnaissance vocale restera chez toi.
D’où l’intérêt d'avoir des technos comme ça en open source, sinon tu es obligé de passer par le cloud via de grosses boites qui feront ce qu'elles veulent, elles.

[sergio_is_back]

C'est simple, un tel système peut être en local, et donc toute reconnaissance vocale restera chez toi.
D’où l’intérêt d'avoir des technos comme ça en open source, sinon tu es obligé de passer par le cloud via de grosses boites qui feront ce qu'elles veulent, elles.

Que ce soit local ou non, je n'ai pas besoin de ce genre de gadget !

[Ryu2000]

Qu'en pensez-vous ?

Si on ne veut pas être écouté par des entreprises il suffit de n'utiliser aucun service de reconnaissance vocale.
C'est un gadget, vous pouvez très bien faire sans. (cela dit, ça doit être pratique de demander à son téléphone de changer de chanson quand on est en train de conduire)

[walfrat]

Que ce soit local ou non, je n'ai pas besoin de ce genre de gadget !

Moi non plus, mais j'éviterais quand même de l'avancer comme argument parce que c'est pas vraiment constructif.

Certain dirait que les livres et les cartes routières leurs suffisent encore aujourd'hui alors à quoi bon Internet ?

Ce problème soulève quelque chose d'intéressant : toutes les technologies liés à la reconnaissance vocale ne sont pas encore 100% fiable, d'où le fait qu'on peut justifier de vouloir récupérer les enregistrement afin de vouloir améliorer le service.

Même en oubliant tout autre usage (revente,...) qu'il pourrait être fait de ces enregistrements, ces technologies ne sont pas nécessairement encore assez mature pour tourner en locale et ne pas se tromper. Et si on se tourne face à celles qui sont en locales/open-source aujourd'hui, elles sont très probablement déjà moins fiable que les autres et l'écart continuera d'augmenter avec le temps.

Enfin il ne faut pas oublier que généralement ces systèmes sont interconnectés à plein d'autre service pour pouvoir répondre à des questions du style "c'est quoi la météo demain ?" Et nos gros GAFAM jouent principalement là dessus en fait.

[onilink_]

Que ce soit local ou non, je n'ai pas besoin de ce genre de gadget !

Moi non plus, mais ça reste quand même beaucoup mieux que ce genre de techno existe en open source et local, pour ceux qui justement en ont l'utilité ou le besoin.
Parce que ça peut être utile, par exemple pour les mal voyants, ou encore juste pour le travail car avec un système customisé, tu peux créer tes propres commandes.

Il faut aussi penser au cas ou si ce genre de techno se démocratise vraiment, si tu vas chez quelqu'un qui en a un, je préfère mille fois qu'il ai un truc custom local qui tourne sur un rpi plutôt qu'un google home ou nos conversation vont être espionnées si tu forces pas la personne à l'éteindre...

[jc_granit]

L'internet des objets à encore frappé: Un gadget de plus, totalement inutile, mais un parfait espion de son intimité!

[jc_granit]

Un prestataire de Google a divulgué plus de mille enregistrements vocaux de Google Assistant

Un prestataire... Un tiers à qui une GAFAM a vendu des données... Etc...

Le problème a toujours la même origine: Les GAFAM collectent les données de leur clients mais en plus les mettent à disposition de sociétés tierces qui elles...

C'est sans fin et totalement incontrôlable!

[Invité]

Je m'étonne toujours de voir des personnes sur un forum de professionnels de l'informatique s'offusquer de fuites de données...
Dans le cadre de votre travail, n'avez-vous jamais eu accès à des données plus ou moins sensibles mais que vous avez utilisé tout même sans sourciller ?
Je suis dba alors vous pensez bien que si j'étais sans éthique et mal intentionné je serais devenu riche... ou black-listé et sans emploi !
Un exemple, une banque a un problème avec un vieux logiciel employé pour les gros comptes et je demande plus d'information pour trouver le problème. Je reçois par courriel une liste de clients dans un excel « sécurisé » dans un zip avec mot de passe... Je vous laisse dénombrer le nombre de failles de sécurité là-dedans... Et ce que j'aurais potentiellement pu faire de ces trop nombreuses informations...
Des exemples comme ça, j'en ai bien sûr des tonnes sans doute comme nous tous...

Est-ce que le problème ne serait pas plus fondamental à notre secteur au lieu de simplement cibler les GAFA - qui sont juste de très grosses boites informatiques ni plus pures ni moins capitalistes que la majorité de nos employeurs ?

[onilink_]

@7gyY9w1ZY6ySRgPeaefZ
Le problème c'est que les GAFAM nous montrent tous les jours qu'elles exploitent ce genre de données... justement pour des choses qu'elles ne devraient pas.
Bref, tout aussi illégal, mais avec une portée bien plus dangereuse car il est plus difficile de couler un géant du web qu'un petit développeur dans son coin.

Et on voit bien que les nombreux scandales de Facebook n'ont pas suffit a faire changer la donne. Car bien avant le scandale de CA, il y en a eu un petit paquet. Mais tout le monde s'en foutait et ça a pas été très médiatisé.
Au final le scandale de CA les gens sont "offusqués" mais... ils restent quand même sur FB pour la plupart.
Les amendes infligés sont aussi dérisoires quand on voit l'argent qu'ils se font grâce à l'utilisation illégale de ces données.

[viper1094]

C'est simple, un tel système peut être en local, et donc toute reconnaissance vocale restera chez toi.
D’où l’intérêt d'avoir des technos comme ça en open source, sinon tu es obligé de passer par le cloud via de grosses boites qui feront ce qu'elles veulent, elles.

Tiens d'ailleurs. Avec un petit micro, une rasberry, et un algorithme open source (ou pour les plus chevronnés un algorithme fait maison), y a surement moyen de faire un truc sympa non ?
Edit : Tu le dis juste après x)
Edit 2 :

Est-ce que le problème ne serait pas plus fondamental à notre secteur au lieu de simplement cibler les GAFA - qui sont juste de très grosses boites informatiques ni plus pures ni moins capitalistes que la majorité de nos employeurs ?

Je pense que si. Les problèmes d'éthiques sont d'ailleurs un peu commun à plein de secteurs, mais on ne voit toujours que les grosses boîtes ( la vente des données d'entrée et de sortie des clients d'une boîte de location d'alarme de sécurité il y a quelques semaines par exemple dans mon coin. Peu de gens en ont entendu parler, mais c'est qu'une question d'envergure de la chose)

[transgohan]

Tiens d'ailleurs. Avec un petit micro, une rasberry, et un algorithme open source (ou pour les plus chevronnés un algorithme fait maison), y a surement moyen de faire un truc sympa non ?

J'ai tenté de sauter le pas, mais peu de modèles en Français à télécharger pour utilisation locale.
Et au final même avec un bon micro ce n'est pas très performant...
J'ai fini par laisser tomber pour ma part.
C'est tout juste bon pour une commande de un mot quand on a un modèle performant, et encore faut pas avoir peur de répéter.

[Anselme45]

Et au final même avec un bon micro ce n'est pas très performant...

Ce n'est pas performant parce que tu as oublié le secret de fabrication: Avoir des humains qui écoutent les conversations en jouant à l'IA!

[Ryu2000]

Avoir des humains qui écoutent les conversations en jouant à l'IA!

Il doit y avoir beaucoup plus d'heures d’enregistrement qu'il est humainement possible d'écouter.
Il y a peut-être des millions de Google Home.
La partie écouté par les humains est négligeable quelque part, c'est une goûte d'eau dans un océan...

Mais c'est pas sympa d'enregistrer les gens... (ce type d'appareil vous écoute en permanence)

[viper1094]

J'ai tenté de sauter le pas, mais peu de modèles en Français à télécharger pour utilisation locale.
Et au final même avec un bon micro ce n'est pas très performant...
J'ai fini par laisser tomber pour ma part.
C'est tout juste bon pour une commande de un mot quand on a un modèle performant, et encore faut pas avoir peur de répéter.

Le problème est la qualité du micro ou la portée ?
La reconnaissance vocale, si on est capable de comprendre le code, même si il est fait pour l'anglais, il y a surement moyen de le rendre compatible au français, et même d'implémenté ces propres mots clés non ? (Bon moi j'suis en train de galérer avec pygame donc ça fait beaucoup de si, mais théoriquement ?)