Discussion :

[Stéphane le calme]

Des chercheurs font appel à un outil basé sur l'IA pour mettre en quarantaine le discours haineux,
pour éviter de passer par la censure et donner à l'utilisateur plus de contrôle

Selon des chercheurs de l'Université de Cambridge, la propagation du discours de haine via les médias sociaux pourrait être combattue en utilisant la même approche de « quarantaine » déployée pour lutter contre les logiciels malveillants. En fait, les définitions du discours haineux varient en fonction de la nation, de la loi et de la plateforme, et le simple blocage des mots-clés est inefficace : les descriptions graphiques de la violence n'ont pas besoin de contenir des insultes ethniques évidentes pour constituer des menaces de mort racistes, par exemple.

En tant que tel, le discours haineux est difficile à détecter automatiquement. Il doit être signalé par ceux qui y sont exposés, après que le « préjudice psychologique » voulu ait été infligé, avec des armées de modérateurs tenus de juger chaque cas. C'est la nouvelle ligne de front d'un ancien débat : la liberté d'expression contre le langage vénéneux.

Face à cette problématique, un ingénieur et un linguiste ont publié une proposition dans la revue Ethics and Information Technology qui exploite les techniques de cybersécurité pour donner le contrôle à ceux qui sont ciblés, sans recourir à la censure.

Les experts de Cambridge Language et Machine Learning utilisent des bases de données de menaces et d'insultes violentes pour créer des algorithmes qui peuvent fournir un score pour la probabilité d'un message en ligne contenant des formes de discours haineux.

À mesure que ces algorithmes s'affinent, les discours de haine potentiels pourraient être identifiés et « mis en quarantaine ». Les utilisateurs recevraient une alerte d'avertissement avec un « Hainomètre » (baromètre indiquant le score de gravité du discours haineux), le nom de l'expéditeur et une option pour afficher le contenu ou le supprimer sans l'afficher.

Cette approche s'apparente à des filtres de spam et de logiciels malveillants, et les chercheurs du projet Giving Voice to Digital Democracies (donner de la voix aux démocraties numériques) pensent qu'elle pourrait réduire considérablement la quantité de discours haineux que les gens sont obligés de subir. Ils visent à avoir un prototype prêt au début de 2020.

« Le discours haineux est une forme de préjudice intentionnel en ligne, comme les logiciels malveillants, et peut donc être traité par le biais de la mise en quarantaine », a déclaré le coauteur et linguiste, le Dr Stefanie Ullman. « En réalité, beaucoup de discours haineux sont en fait générés par des logiciels tels que les robots Twitter ».

« Des entreprises comme Facebook, Twitter et Google répondent généralement de manière réactive aux discours haineux », a déclaré le coauteur et ingénieur Dr Marcus Tomalin. « Cela peut convenir à ceux qui ne le rencontrent pas souvent. Pour d'autres, c'est un peu trop tard ».

« De nombreuses femmes et personnes appartenant à des groupes minoritaires aux yeux du public reçoivent un discours haineux anonyme pour avoir osé avoir une présence en ligne. Nous voyons cela dissuader les gens d'entrer ou de continuer dans la vie publique, souvent ceux de groupes qui ont besoin d'une plus grande représentation », a-t-il dit. L'ancienne secrétaire d'État américaine Hillary Clinton a récemment déclaré à un public britannique que le discours haineux constituait une « menace pour les démocraties », à la suite de nombreuses femmes parlementaires citant les abus en ligne comme raison pour laquelle elles ne se présenteront plus aux élections.

Dans un discours prononcé à l'Université de Georgetown, le PDG de Facebook, Mark Zuckerberg, a évoqué « de larges désaccords sur ce qui peut être qualifié de discours haineux » et a fait valoir : « nous devons pécher par excès d'expression ».

Les chercheurs notent que leur proposition n'est pas une solution miracle, mais qu'elle se situe sur la ligne entre les « approches libertaires et autoritaires extrêmes» consistant à autoriser ou à interdire totalement certains propos en ligne. L'un des points essentiels est que l'utilisateur devient l'arbitre. « Beaucoup de gens n'aiment pas l'idée d'une société qu'ils n'ont pas choisie ou d'un gouvernement de microgestion qui décide de ce que nous pouvons et ne pouvons pas nous dire », a déclaré Tomalin.

« Notre système signalera quand vous devez être prudent, mais le dernier mot vous revient. Il n'empêche pas les gens de poster ou de voir ce qu'ils aiment, mais il donne le contrôle nécessaire à ceux qui sont inondés de propos haineux ».

Dans l'article, les chercheurs font référence à des algorithmes de détection atteignant une précision de 60 %. Mais le laboratoire d'apprentissage automatique de Tomalin assure avoir désormais atteint les 80 % et il prévoit une amélioration continue de la modélisation mathématique. Pendant ce temps, Ullman recueille plus de « données d'entraînement » : discours haineux avérés à partir duquel les algorithmes peuvent apprendre. Cela permet d'affiner les « scores de confiance »' qui déterminent une quarantaine et la lecture ultérieure de « Hainomètre », qui pourrait être définie comme un cadran de sensibilité en fonction des préférences de l'utilisateur.

Un exemple de base pourrait impliquer un mot comme « chienne » : une injure misogyne, mais aussi un terme légitime dans des contextes tels que l'élevage de chiens. C'est l'analyse algorithmique de la position syntaxique d'un tel mot (les types de mots environnants et les relations sémantiques entre eux) qui influe sur le score du discours haineux.

« L'identification de mots-clés individuels ne suffit pas, nous examinons des structures de phrases entières et bien au-delà. Les informations sociolinguistiques dans les profils d'utilisateurs et les historiques de publication peuvent toutes aider à améliorer le processus de classification », a déclaré Ullman.

Tomalin a ajouté: « Grâce à des quarantaines automatisées qui fournissent des conseils sur la force du contenu haineux, nous pouvons donner du pouvoir à ceux qui sont l'objet du discours haineux qui empoisonne nos échanges en ligne ». Cependant, les chercheurs, qui travaillent au Centre de recherche sur les arts, les lettres et les sciences sociales de Cambridge (CRASSH), disent que, comme pour les virus informatiques, il y aura toujours une course aux armements entre le discours haineux et les systèmes pour le limiter.

Source : université de Cambridge

Et vous ?

Que pensez-vous de cette approche ?

Voir aussi :

La recherche et le développement en intelligence artificielle sont en plein essor, mais l'intelligence générale est toujours hors de portée selon un rapport
L'UE ambitionne de former à minima 1 % des Européens aux fondamentaux de l'intelligence artificielle d'ici 2021
Qui est le propriétaire du produit d'une intelligence artificielle ? Peut-on s'attribuer (par protection) les droits d'auteur d'une œuvre produite par une IA ?
L'intelligence artificielle devrait-elle bénéficier des mêmes protections éthiques que les animaux ? Oui, selon Aeon, qui propose la création de comités de surveillance chargés d'évaluer les risques

[pierre-y]

Les critiques des gilets jaune au début du mouvement contre macron était considéré comme haineuse, du coup ça se situe ou la critique politique dans le discours "haineux"? Nul doute aussi que critiquer des islamistes, des scientologue etc sera considéré comme ""haineux" par ceux qui la pratique sauf que la haine sera de leur côté... on fait quoi dans ces cas la?

[Neckara]

après que le « préjudice psychologique » voulu ait été infligé

Just grow the fuck up.

On est pour la plupart des adultes, pas des gamins de primaires. Admettons, j'insulte une personne en ligne... et après ?
Mes mots n'auront aucune conséquences qui leur seront propres, et ce n'est que leur destinataire qui choisira de leur accorder ou non de l'importance et de s'en offusquer.

Tant que cela ne nuit pas à la tenue de la discussion (spam/flood/HS/...) quel mal réel y a-t-il ?
Si j'ose même pousser la provocation plus loin, ne serait-ce même pas une chose positive ? Cela permet aux uns de se défouler, d'extérioriser, et aux autres d'apprendre à se détacher du regard/opinion d'autrui.

C'est comme un vaccin, en y étant exposé, on est plus à même de faire face aux critiques qu'on pourrait recevoir dans la vie réelle, et de ne pas casser la figure de son interlocuteur IRL pour la moindre petite remarque. De le banaliser ce genre de propos, cela permet aussi de réduire la puissance des insultes utilisées, alors qu'au contraire, en les sanctionnant, elles gagnent en pouvoir.


Cela peut aussi conduire à des discussions intéressantes que l'on n'aurait pas soupçonné en censurant les propos dès la première phrase.

[xidoc]

Si des moyens intelligents sont mis en place pour ignorer les propos haineux, je suis alors pour.
Quel est l'intérêt de déverser sa haine sur un internaute @Neckara ?
Il y a pourtant d'autres moyens comme le sport, les jeux vidéos, etc..

Le vaccin n'est pas plus de haine. Le feu attise le feu.

Je sais qu'on ne vit pas dans un monde de bisounours, sur dans le monde actuel, mais si il y a quelque chose de bon chez l'homme, c'est bien l'amour (c'est d'ailleurs la meilleure chose qu'il y a en lui)

[Neckara]

Quel est l'intérêt de déverser sa haine sur un internaute @Neckara ?

Quel est l'intérêt d'empêcher les déversements de haine, de surcroît au risque d'ébranler les piliers sur lesquels notre démocratie se construit ?

Il y a pourtant d'autres moyens comme le sport, les jeux vidéos, etc..

Il ne faut pas confondre énergie, stress, etc. avec haine.

Le vaccin n'est pas plus de haine. Le feu attise le feu.

Et pourtant on combat le feux avec le feux, ont combat la maladie avec la maladie.

À partir du moment où la haine cesse d'être tabou et devient normale, elle perd son pouvoir offensant.
Cacher la haine est au contraire ce qui la attise le plus, car chaque censure vient l'alimenter, et pousse les personnes vers des chambres d'échos où ils pourront cultiver leur haine ensemble. Tout en se retrouvant conforté dans ses idées.


À trop s'offenser de la haine, elle devient la justification de réponses physiques, ce qui tient plus de l'animal que de l'humain adulte mature. Et petit à petit la moindre contrariété devient progressivement de la haine, et sera utilisé comme sophisme usant un peu d'homme de pailles.

Dès lors, on se retrouve avec des mouvements comme aux US/Canada, où il devient normal de tabasser ses opposants politiques car c'est les "méchants".

Je sais qu'on ne vit pas dans un monde de bisounours, sur dans le monde actuel, mais si il y a quelque chose de bon chez l'homme, c'est bien l'amour (c'est d'ailleurs la meilleure chose qu'il y a en lui)

L'amour n'est pas raison, et pave l'enfer de bonnes intentions.

Tsss... j'ai trois syllabes de trop pour faire un bel alexandrin.


EDIT: L'amour n'est pas raison, d'intentions pave l'enfer.
\o/

PS: On a des cookies du côté obscur.

[xXxNeWgEnErAtIoN]

Des tests psychologiques sur toute la population française devraient être effectués et analysés par cette ia.

Ça permettrait de suivre les personnes à risque et d'anticiper leurs actions.

Et pourquoi pas enfermer en prévention les éléments les plus subversifs.

La haine n'est pas une opinion et n'en sera jamais une, il faut la combattre avec la plus grande fermeté, peu importe les moyens il faut les utiliser.

[Neckara]

Par exemple la haine contre les nazis, c'est pas une opinion, faut enfermer tous ces naziophobes.


D'ailleurs, si je développe ma pensée, comment apprends-t-on le fair play en sport ?
Ce n'est pas en enlevant toute frustrations, au contraire, c'est en y confrontant l'enfant, en le confrontant à la défaite.
Puis de se servir de ce sentiment, de se l'approprier, de le maîtriser pour en retirer une force supplémentaire, de se dépasser, d'aller au bout de soit-même, de rediriger cette haine envers soit-même pour s'améliorer et redoubler d'efforts.


Le racisme et la xénophobie, ne sont pas que de la haine, ce sont aussi de l'amour pour ses proches. Aimer créé de l'amour inégal, de par ses préférences, on haït un ennemis, soit-ils les autres, ou les siens qui ne partagent pas notre vision de "l'amour". Au contraire, de haïr tout le monde équitablement, on se refocus sur soit-même, sur notre intérêt propre, et ainsi de penser ce qui nous avantage le plus, c'est le début de la raison.


L'amour n'est pas raison, d'intentions pave l'enfer.
Haine des mal-aimés, l'amour est haine inégale.

Non l'amour, la haine est porte de la raison.
L'amour est faiblesse, nous rend vulnérable.
Apprivoisée, notre haine devient force.


PS: Hey, un petit défi, dans vos réponses, écrivez un (ou plusieurs) alexandrins, on se fera un poème en combinant le tout.

[xXxNeWgEnErAtIoN]

Le racisme et la xénophobie, ne sont pas que de la haine, ce sont aussi de l'amour pour ses proches.

Va dire ça aux familles des victimes de crime raciste, c'est quand même incroyable de lire ça sur un forum publique.

Et oui toute haine doit être annihilée, seule la justice doit prendre des décisions. C'est pas comme ça que marche une société, les tarés dehors que les gens responsables puissent vivre en paix.

[fredinkan]

seule la justice doit prendre des décisions

Oui, donc en tout cas pas une IA...
Et accessoirement chaque cas doit être étudié, tu peux pas avoir une loi vague, sinon t'as les divergences comme mise en lumière par Neckara...
Donc exit également les "retrait des propos en 24h" ... Une décision de justice prend vachement plus de temps...

[Neckara]

Va dire ça aux familles des victimes de crime raciste, c'est quand même incroyable de lire ça sur un forum publique.

Par définition, le racisme requiert une hiérarchisation, i.e. une préférence envers un groupe plutôt qu'un autre, et très souvent, en favorisant les groupes auxquels on appartient.

Le racisme n'est pas possible quand tu détestes tout le monde. Au contraire, détester tout le monde également, sans préjugés, c'est ça la vrai égalité.

Et oui toute haine doit être annihilée, seule la justice doit prendre des décisions.

C'quand même pas pratiquement de demander à la Justice chaque matin si je dois prendre des croissants ou des pains au chocolat.

Quant à annihilé toute haine, va falloir annihilé les juifs alors... parce qu'ils me semblent quand même assez haineux envers les nazis.
Et puis là, les autres cons qui se plaignent de l'optimisation fiscale, c'est pas un peu fini cette haine envers les riches ?
Et les prêtres qu'on fou en prison, c'est quoi cette haine envers les pédophiles ?

C'est pas comme ça que marche une société, les tarés dehors que les gens responsables puissent vivre en paix.

Oh, la belle haine.
Maintenant, il te suffit plus que d'admettre que tout le monde est taré.

[xXxNeWgEnErAtIoN]

Oui, donc en tout cas pas une IA...
Et accessoirement chaque cas doit être étudié, tu peux pas avoir une loi vague, sinon t'as les divergences comme mise en lumière par Neckara...
Donc exit également les "retrait des propos en 24h" ... Une décision de justice prend vachement plus de temps...

Justement la justice devrait être laissée à un robot et une ia, les hommes ont des sentiments qui les rendent faibles, les machines et algorithmes n'en ont pas, ils peuvent prendre des décisions justes que les hommes ne sont pas capables de prendre.

[Neckara]

Justement la justice devrait être laissée à un robot et une ia, les hommes ont des sentiments qui les rendent faibles, les machines et algorithmes n'en ont pas, ils peuvent prendre des décisions justes que les hommes ne sont pas capables de prendre.

Et comment tu le programmes ton robot ?

[xXxNeWgEnErAtIoN]

Comme on programme un humain en ajoutant 200 points de qi.

[fredinkan]

Justement la justice devrait être laissée à un robot et une ia, les hommes ont des sentiments qui les rendent faibles, les machines et algorithmes n'en ont pas, ils peuvent prendre des décisions justes que les hommes ne sont pas capables de prendre.

Oui tu as bien raison... Voilà ce que donne une IA:
https://www.nouvelobs.com/economie/2...es-femmes.html

T'en as d'autres qui ont eu des discrimination raciste...
Non c'est vrai, laisser aveuglément le choix à une IA unique, sans système de contrôle, sans morale (parce qu'elle n'est pas programmable la morale, vu qu'elle change en fonction des gens, des pays, des époques, etc.), et à une seule entité (tu sais que tu peux faire appel d'un jugement et que ce sera étudié par d'autres personnes compétentes ?) c'est tellement une bonne idée.

Tu sais qu'à laisser la modération de ce forum à une IA tu aurais certainement déjà été banni pour un grand nombre de tes propos ?
La liberté d'expression reste quand même possible car justement on a pas un "big brother artificiel" qui t'empêche de dire tes absurdités...

[Neckara]

Surement un vaccin qui t'es monté à la tête.

Tiens en parlant de vaccins, tu savais que les vaccins contenaient du DHMO, le principal ingrédient des pesticides et insecticides ?

Faut pas s'étonner ensuite qu'une grande partie des personnes qui se font vacciner finissent par mourir, mais ça on en parle presque jamais.


Sous forme solide, il peut provoquer des nécroses, sous forme de vapeur, des brûlures très graves, et à l'état liquide peut conduire à la suffocation, c'est un produit hyper-dangereux, qu'on injecte pourtant à nos gamins.


Et le pire, c'est que les vaccins contiennent même un alcool. Alors on déconseille d'en donner à boire à nos enfants, par contre ça ne gène pas de leur en injecter directement. Et après ils finissent alcoolique à consommer une bouteille par jour de boisson à base d'hydrogénol, une véritable dépendance dont il est difficile de s'en défaire. Tout cela à cause des vaccins.

[Superzest 76]

Tiens en parlant de vaccins, tu savais que les vaccins contenaient du DHMO, le principal ingrédient des pesticides et insecticides ?

Faut pas s'étonner ensuite qu'une grande partie des personnes qui se font vacciner finissent par mourir, mais ça on en parle presque jamais.


Sous forme solide, il peut provoquer des nécroses, sous forme de vapeur, des brûlures très graves, et à l'état liquide peut conduire à la suffocation, c'est un produit hyper-dangereux, qu'on injecte pourtant à nos gamins.


Et le pire, c'est que les vaccins contiennent même un alcool. Alors on déconseille d'en donner à boire à nos enfants, par contre ça ne gène pas de leur en injecter directement. Et après ils finissent alcoolique à consommer une bouteille par jour de boisson à base d'hydrogénol, une véritable dépendance dont il est difficile de s'en défaire. Tout cela à cause des vaccins.

Le pire c'est que cette molécule est utilisé dans l'industrie comme diluant ^^ et elle est présente et est déverser par million de litre dans la mer
tenez de quoi vous informer

Sur ce propos je suis plus d'accord avec @Neckara la censure mène rarement a de belle chose (voir : CHINE,RUSSIE)
Si c'est pour vivre dans V pour vandeta ou dans Big brother merci mais non.

Les groupes violant extrémiste qui se font censuré ou fermer se reconstitue vite ailleurs, et il deviennent plus haineux et violant.
Si au contraire il restait telle qu'elle ça ouvrirait plus de place au débat (aussi stérile soit t'il).