Discussion :

[Bill Fassinou]

Tune, une extension Chrome basée sur l’IA pour cacher les commentaires « toxiques » publiés sur le Web est mise au point
par Google

Jigsaw a présenté dans la journée d’hier l’application Tune, une extension pour le navigateur Google Chrome capable de filtrer et de cacher les commentaires indésirables grâce à un mode de fonctionnement basé sur l’intelligence artificielle. L’extension est conçue, annoncent ses éditeurs, pour permettre de modérer les commentaires sur les médias sociaux tels que Facebook, Twitter, YouTube ou encore les sites communautaires comme Reddit. Pour l’heure, il ne s’agit que d’une version expérimentale de l’extension, mais vous pouvez déjà la télécharger à partir du Store d’extensions de Chrome et l’essayer.

Jigsaw (anciennement Google Ideas) est un incubateur technologique créé par Google et actuellement exploité en tant que filiale du groupe Alphabet. Basé à New York, Jigsaw se consacre à la compréhension des défis mondiaux et à l'application de solutions technologiques contre l'extrémisme, la censure en ligne et les cyberattaques pour protéger l'accès à l'information. L’entreprise s’emploie à utiliser la technologie pour rendre le monde plus sûr, explique-t-elle. En septembre 2016, Jigsaw présentait Perspective, une intelligence artificielle qu’il a conçu pour détecter des propos "toxiques" et qui est disponible via une API. Cette initiative de la filiale de Google s’inscrit dans le cadre de la lutte contre le harcèlement en ligne, les propos haineux et racistes ou simplement toutes formes de propos déplacés en ligne. Le rôle de Perspective est de permettre l’attribution à un texte d’un score de toxicité en utilisant les méthodes de l’apprentissage automatique. Perspective a été entraînée en utilisant des commentaires de Wikipédia, du New York Times et d’autres médias partenaires.

Les formes de harcèlement en ligne ou les propos toxiques ont pris de plus en plus d’ampleur ces dernières années notamment avec l’avènement des médias sociaux. La place qu’ils (les médias sociaux) occupent dans notre vie aujourd’hui semble très importante et ainsi, les utilisateurs sont en proie le plus souvent à des propos toxiques, des messages haineux, des menaces ou encore des commentaires de tout genre. Ainsi, Jigsaw s’est donné pour mission de modérer cela en utilisant l’intelligence artificielle. Il a de ce fait mis en place une extension Chrome open source dénommée Tune pour permettre aux utilisateurs de personnaliser le degré de toxicité qu’ils souhaitent voir apparaître dans les commentaires sur Internet. Tune s’appuie sur les mêmes modèles d’apprentissage que Perspective, il est donc alimenté par l’intelligence artificielle.

L’extension Tune est conçue pour l’instant à l’endroit de YouTube, Facebook, Twitter, Reddit et Disqus qui, le sait-on, sont souvent sur la liste des sites où les langages abusifs et toxiques sont les plus rencontrés. Avec Tune vous pouvez baisser le volume des commentaires toxiques en le réglant sur le mode "zen". Cette configuration vous permet d’ignorer complètement les commentaires toxiques. Si vous décidez de les voir quand même, il vous suffira de monter le volume. Plus le volume est haut et plus vous êtes sujets à voir des choses plus toxiques que Tune aurait cachées. Cela dit, vous pouvez aussi régler le volume entre les deux pour personnaliser le niveau de toxicité (p. ex. attaques, insultes, blasphèmes, etc.) que vous êtes prêts à voir dans les commentaires. Vous pouvez déjà ajouter l’extension à votre navigateur et commencer à l’essayer. Aussi, ayez à l’esprit, explique Jigsaw, que l’extension ne fonctionne actuellement que sur les commentaires en anglais.

Néanmoins, met en garde Jigsaw, Tune n'est pas censé être une solution pour les cibles directes de harcèlement, pas plus que Tune n'est une solution pour toutes les formes de toxicité. « Il s’agit plutôt d’une expérience visant à montrer aux gens comment la technologie d’apprentissage automatique peut aider à modérer les discussions en ligne. Nous espérons que Tune pourra inspirer les plateformes et les développeurs à explorer les contrôles d’audience des lecteurs et permettre aux communautés de participer à des discussions, à l’avenir, plus commodes », a expliqué Jigsaw.

De plus, Jigsaw a rappelé que l'apprentissage automatique qui alimente l’extension Tune est toujours expérimental. Il lui manque encore, souligne-t-il, à apprendre d'innombrables commentaires ou phrases toxiques et il cache maladroitement certains commentaires non toxiques. Cependant, Jigsaw affirme qu’il continue de travailler fermement pour améliorer les technologies sous-jacentes à son projet. Aussi, entend-il permettre prochainement aux utilisateurs d’envoyer en retour leurs avis pour participer à l’amélioration des algorithmes de Perspective et en même temps de l’extension Tune.

Si vous êtes inquiets par rapport à la confidentialité de vos données lorsque vous utilisez Tune, vous pouvez consulter la FAQ réservée à cela dans Chrome Store pour avoir plus d’informations. Sachez néanmoins que si vous soumettez des commentaires via Tune, le rapport de rétroaction Google contiendra l'identifiant de l'utilisateur du compte auquel vous êtes connecté avec Chrome à ce moment-là.

Sources : Médium, Chrome Store

Et vous ?

Que pensez-vous de cette extension ?
L'avez-vous déjà essayé ? Qu'en dites-vous ?

Voir aussi

Lutte contre les propos déplacés en ligne : Google développe une intelligence artificielle disponible via une API pour détecter les propos "toxiques"

35 % des extensions Chrome accèdent aux données des utilisateurs sur n'importe quel site d'après une étude du laboratoire Duo Labs

Une nouvelle extension Chrome de Google vous protège contre les violations de données en vérifiant automatiquement la sécurité de vos mots de passe

Extensions Chrome : Google annonce des changements à venir qui visent à améliorer la sécurité ainsi que l'expérience utilisateur

[Neckara]

Cela va être génial avec les faux-positifs, voire les messages arbitrairement considérés comme "toxiques" parce qu'ils n'entrent pas dans la ligne politique de Google…
Comment un utilisateur pourrait-il avoir conscience des messages intéressant mais pourtant censuré ?

Cela est une extension extrêmement dangereuse.

[sergio_is_back]

+1

Et d'abord c'est quoi "un commentaire toxique" ? Définition ?
Chacun peut avoir sa propre définition...

Dans la langue française ça ne veut rien dire déjà... (C'est comme quand on étend des commerciaux parler de "Facteur de forme", traduction plus ou moins galvaudée de "Form factor" à propos d'un matériel... Je me fous de leur gueule...)

Il faudrait plutôt parler de commentaires VOLONTAIREMENT désobligeants et j'insiste bien sur le VOLONTAIREMENT... Comment distinguer l'intentionnel dans le propos ?

[Neckara]

Et d'abord c'est quoi "un commentaire toxique" ? Définition ?
Chacun peut avoir sa propre définition...

C'est le problème avec tous les mots utilisés par les militants et sociologues.

Le mot est trompeur et détaché de sa réelle définition, ce qui permet de justifier derrière des actions militantes par simple glissement sémantique.

Toxique, c'est quelque chose qui est poison/vénéneux, c'est quelque chose qui tue. On est à mille-lieu des simples insultes ou commentaires stupides qu'on peu trouver dans les commentaires de vidéos Youtube.

Idem la "violence symbolique" (e.g. porter une montre très onéreuse quand des personnes plus modestes nous regardes), qui légitime une violence verbale ou physique en retour, après tout c'est de la violence, donc c'pareil.

Tu as aussi des mots volontairement floue dont ils vont faire changer la définition à loisir en fonction de ce qui les arrange sur le moment (e.g. genre). Ou d'autres mots qu'ils vont redéfinir pour coller à leur idéologie (e.g. racisme avec la dimension de "systémique"/"pouvoir").


Bref, c'est juste utiliser la connotation d'un mot pour manipuler son auditoire.

[eldran64]

Ton post est limite tiré d'une vidéo d'Horizon Gull

Sinon pour en revenir à cette news, je serai aussi curieux de connaître les objectifs "réels" donné à cette IA. Car si le but officiel de Tune est annoncé, nous ne savons pas d'un point de vu technique ce qui est recherché (Réduction des insultes dans les posts? Incitation à la haine? etc.).

[bombseb]

Ca me fait penser aux "safe spaces" aux US...

Tu as aussi des mots volontairement floue dont ils vont faire changer la définition à loisir en fonction de ce qui les arrange sur le moment (e.g. genre). Ou d'autres mots qu'ils vont redéfinir pour coller à leur idéologie (e.g. racisme avec la dimension de "systémique"/"pouvoir").


Bref, c'est juste utiliser la connotation d'un mot pour manipuler son auditoire.

Il y a aussi des expressions qui sentent bon la novlang comme par exemple en vrac "Plan de sauvegarde de l'emploi" qui veut dire plan de licenciement, ou "discrimination positive", "charges sociales" plutôt que "cotisation patronales", SDF à la place de clochard, "personne à mobilité réduite" pour personne handicapée...

Récemment Edouard Philippe a dit à propos du grand débat : Le risque deceptif est important

Un autre qui est pas mal aussi c'est le terme "migrant", ce mot est apparu comme par magie après la déstabilisation de la Lybie...

[mh-cbon]

j'aimerais bien savoir qui va télécharger et installer ce truc en se disant qu'il vient de faire la trouvaille du jour..... un jour peut être iront il jusqu'à payer pour cela

[BufferBob]

ce serait réellement intéressant si la classification était faite en local, avec en outre la possibilité de paramétrer ce qu'on considère comme toxique, seulement juste pour visiter twitter ou les commentaires youtube ça peut faire lourd la charge CPU quand même... ça aurait du sens si c'était intégré à l'OS directement.

sinon sur le principe, tant que c'est pas adapté spécifiquement à la langue française, un bête filtre bayésien type antispam donnera probablement de meilleurs résultats

[Neckara]

"charges sociales" plutôt que "cotisation patronales"

Cela vient en fait de la comptabilité où on a deux colonnes: les charges et les produits.

"personne à mobilité réduite" pour personne handicapée...

En réalité, il y a une distinction entre les deux.

Une personne handicapée n'est pas forcément à mobilité réduite, notamment pour les handicaps mentaux, sociaux, ainsi que pour e.g. le diabète.

Après, on est d'accord que cela reste un euphémisme.

[pierre-y]

Et c'est google qui va décider qui et quoi... Autant dire que qu'il y a un risque évidant de dérive.

[Invité]

Je ne vois pas tellement cette extension d'un mauvais oeil, quoique je ne l'installerai pas parce qu'elle demande à ce que je sois connecté à mon compte Google pour fonctionner d'une part, perspective orwellienne qui me déplaît fortement, et que je n'en ai pas l'utilité d'autre part car je ne possède pas de réseaux sociaux et que je fais le tri dans la toxicité. Je suppose que ça a pour but de permettre à Google d'exploiter nos résultats pour nourrir l'IA, mais je suis perplexe quant à la possibilité de l'IA de ne pas relever mes connexions et les lieux de ces derniers.

Cela dit, pour tous les dégâts que provoquent le "bullying" (je n'ai pas trouvé de traduction française aussi puissante que ce mot Anglais ... "Intimidation" est bien trop faible ) sur les adolescents et les personnes les moins renforcées face à ces méthodes de déstabilisation et d'encouragement à [FILTRE], je pense que ça sera utile à des parents qui sont au fait de ces choses et qui s'inquiètent de leur progéniture, où alors à des minorités qui en ont assez de faire face à des insultes sur les réseaux sociaux.

Si des faux positifs seront bien évidemment de mise avec un tel système, l'IA sera sûrement mieux à même de distinguer les intentions de nuire que les intervenants de la Twittosphère. Évidemment pour en arriver à un tel résultat, cela veut dire énormément de calculs, donc une consommation énergétique qui sera tout aussi gigantesque. À l'heure où on s'inquiète de plus en plus du climat, il faudrait aussi qu'on prenne en compte le facteur énergétique de toute cette technologie moderne.

[Neckara]

Si des faux positifs seront bien évidemment de mise avec un tel système, l'IA sera sûrement mieux à même de distinguer les intentions de nuire que les intervenants de la Twittosphère.

L'IA, il faut l'entraîner.

Connaissant Google/Youtube, il y aura très certainement de gros biais sur les données d'apprentissages…

[Aiekick]

a bah ils s'y connaissent en censure, ils on du roder leur algo en chine comment savoir si'ils ont pas appris a leur ia a cacher les infos compromettante pour google et ses intérêts...

je prefere encore avoir tout que prendre le risque qu'on me biaise