Discussion :

[Stéphane le calme]

Les algorithmes de Facebook identifient la Déclaration américaine d'indépendance comme un discours haineux,
et suppriment une publication

Le 4 juillet, marque la commémoration de la Déclaration d’indépendance aux États-Unis. Pour célébrer ce jour, The Vindicator, un petit journal du Texas, a publié des sections de la Déclaration d'Indépendance. « Nous tenons ces vérités pour évidentes [...] L'histoire du roi de Grande-Bretagne actuel est une histoire de blessures répétées et d'usurpations, ayant toutes pour objet direct l'établissement d'une tyrannie absolue sur ces États ».

Alors que le journal était en mesure d'afficher la majorité de la déclaration d'indépendance sans aucun problème, un poste contenait l'expression « Indian Savages » (sauvages indiens), qui, hors contexte, semblerait violer les normes communautaires de Facebook, et a provoqué la censure du poste.

Voici la phrase entière :

« Il a excité des insurrections domestiques parmi nous, et s'est efforcé de faire venir les habitants de nos frontières, les Sauvages indiens impitoyables, dont la règle connue de la guerre, est une destruction indistincte de tous les âges, sexes et conditions ».

Facebook a fait savoir que ses systèmes automatisés ont détecté l'utilisation de « Indian Savages » et ont donc supprimé la publication. Cependant, après que les éditeurs du Vindicator aient publié une histoire à ce sujet le 3 juillet et en aient notifié Facebook, l’entreprise a décidé de rétablir la publication et s'est excusée.

« Le message a été supprimé par erreur et restauré dès que nous l'avons examiné.Nous traitons des millions de rapports chaque semaine, et parfois il nous arrive de nous tromper », a déclaré un porte-parole de Facebook à Business Insider.

Ceci est juste un exemple d'un cas où l'algorithme qui s’occupe de censurer le discours de haine sur Facebook a fait une erreur. Facebook utilise une combinaison d'humains et d'automatisation pour réviser les publications de sa plateforme. Néanmoins, la société a déclaré être consciente des problèmes complexes entourant le discours de haine (comme l'intention et le contexte), ce qui peut parfois entraîner des erreurs dans l’appréciation.

Facebook a affirmé qu’embaucher des milliers d'autres critiques humains était dans ses prévisions. Cet incident vient rappeler que le numéro un des réseaux sociaux travaille encore sur la meilleure façon d'éliminer le discours de haine sans censurer l'expression légitime.

Source : Business Insider

Et vous ?

Qu'est-ce qui pourrait, selon-vous, caractériser un discours haineux ?
Le discours haineux est-il une notion relative ?
Suffit-il qu'un individu estime qu'un discours est haineux, même si les autres ne partagent pas cet avis, pour qu'il le devienne ?
Le discours haineux est-il une notion évolutive ? Par exemple un discours qui n'était pas considéré comme haineux il y a un an, peut-il le devenir aujourd'hui ?
Cet exemple illustre-il la difficulté qu'ont les algorithmes à "comprendre" le discours haineux ou met-il en évidence une complexité bien prononcée chez l'humain ?

Voir aussi :

La loi contre la manipulation de l'information adoptée par les députés, mais ils suspectent aussi les algorithmes de diffuser les fausses informations
IA : des chercheurs de Google développent un algorithme capable de créer des scènes 3D, à partir d'images bidimensionnelles
Play Store : baisse brutale des installations de certaines applications Android, Google aurait modifié son algorithme de classement
Cinq algorithmes d'IA font équipe pour écraser des humains au Dota 2, un jeu d'équipe connu pour être extrêmement compliqué
L'UE félicite Facebook, Twitter et YouTube pour avoir supprimé 70 % des contenus haineux signalés, mais demande encore plus d'efforts

[jvallois]

D'un autre côté, vu ce qu'ils ont fait aux indiens, on peut légitimement classer ça parmi les textes incitant à la haine contre une population à cause de ses origines...

[Neckara]

Cet incident vient rappeler que le numéro un des réseaux sociaux travaille encore sur la meilleure façon d'éliminer le discours de haine sans censurer l'expression légitime.

Le problème est bien là.

On part du principe que le "discours de haine" ne peut être de "l'expression légitime".
La haine n'est qu'un sentiment qu'on souhaite nous interdire... et ça c'est dangereux.


Sachant qu'il est tellement facile de qualifier ce qui nous dérange de "discours de haine" pour ensuite justifier sa censure. En occident la "haine", c'est tout ce qui n'est pas d'extrême-gauche, dans d'autre pays, c'est l'athéisme, la critique du gouvernement en place, etc. C'est juste un moyen de faire taire la critique.



Moi quand je poste des liens vers un article du dictionnaire de l'académie française, le message est automatiquement censuré sur Facebook.

[jmv]

Et si on essayait avec les paroles de la Marseillaise ?

[Sodium]

Sachant qu'il est tellement facile de qualifier ce qui nous dérange de "discours de haine" pour ensuite justifier sa censure. En occident la "haine", c'est tout ce qui n'est pas d'extrême-gauche, dans d'autre pays, c'est l'athéisme, la critique du gouvernement en place, etc. C'est juste un moyen de faire taire la critique.

Je me rappelle d'une discussion où je t'avais trouvé particulièrement à côté de la plaque sur des questions d'économie.
Je découvre que tu as visiblement également des idées d'extrême droite. La boucle est bouclée

Oui, un texte appelant au massacre d'une population est un discours de haine et pour le coup, les algorithmes ont plutôt bien fait leur boulot.

[VivienD]

La notion même de discours haineux est non seulement contre-productive mais aussi particulièrement irrespectueuse envers la liberté d'expression, car elle admet des définitions beaucoup trop floues et trop sujettes à la mésinterprétation pour n'englober que des discours réellement répréhensibles comme l'appel à la violence et à l'infraction à la loi. Mieux vaut avoir une longue liste de cas particuliers clairement définis, exclus de la liberté d'expression ou protégés par celle-ci, quitte à ce que ce soit fastidieux à lire.

Le cas présent de censure⁽¹⁾ n'est qu'un exemple flagrant parmi d'autres démontrant à quel point la notion de discours haineux est liberticide.





(1) N'en déplaise à certains, la censure n'est pas un apanage de l'État: elle peut tout aussi bien être exercée par des intérêts privés comme des entreprises, des associations, voire de simples individus.

[Neckara]

Je me rappelle d'une discussion où je t'avais trouvé particulièrement à côté de la plaque sur des questions d'économie.

Là tu ne me dis rien.

Je ne sais même pas sur quel sujet j'étais "à côté de la plaque", ni même pourquoi.
Sachant que j'ai eu une formation niveau BAC+5 touchant l'économie, cela me surprend.

Je découvre que tu as visiblement également des idées d'extrême droite. La boucle est bouclée

Même une horloge cassée donne l'heure au moins 2 fois par jour.

Pour rappel, l'extrême-droite, et plus particulièrement le FN, arrive à dire des choses intelligentes de temps en temps.
Par exemple il leur est arrivé (avant de se rétracter), de défendre la neutralité du net.

Doit-on en déduire que la neutralité du net est une idée d'extrême-droite ?


C'est quoi aussi ce déshonneur par association, qui permet de discréditer sans aucune contre-argumentation sur le fond du propos ?
Que je sois à droite, à gauche, où que-sais-je, cela rend-il pour autant plus vrai ou plus faux mes propos ?

Oui, un texte appelant au massacre d'une population est un discours de haine et pour le coup, les algorithmes ont plutôt bien fait leur boulot.

Oui, le but de la commémoration est bien évidemment d'appeler au massacre d'une population.
Rien à voir avec un truc comme une déclaration d'indépendance...

D'ailleurs où vois-tu l'appel au massacre d'une population dans la phrase citée qui a provoqué la censure du message ?

[hotcryx]

La haine n'est qu'un sentiment qu'on souhaite nous interdire... et ça c'est dangereux.

Il n'y a pas que la haine qu'on essaye de nous interdire.
Il y a aussi l'amour, et l'amour ayant changé sa définition... et toutes ses dérives.
Le vrai amour n'existe pratiquement plus.

Ils sont en train de nous changer, de nous dénaturer.

Edit:
Commémoration = culte des morts.
Ces hypocrites de politiciens diront: "ils sont morts pour la patrie" mais ce sont eux qui les ont poussé à la mort.
Ce sont les politiciens qui poussent à ce hair.
Que ce soit l'extrême droite ou un autre parti, ils sont pareils dans leurs actes.

[ddoumeche]

Aujourd'hui la fière Brabançonne de 1830 serait censurée par les algorithmes de la bien pensance afin de lutter contre la contagion de lèpre.

C'est oublier un peu vite que les peuples d'Europe ont conquis (ou perdu, cela dépend des points de vue et des situations) leur liberté les armes à la main.

[Ryu2000]

Cet exemple illustre-il la difficulté qu'ont les algorithmes à "comprendre" le discours haineux ou met-il en évidence une complexité bien prononcée chez l'humain ?

L'histoire des USA est basé sur un génocide puis l'esclavage, donc ce ne serait pas surprenant de trouver la haine dans la déclaration américaine...
Depuis le début ils se sentent comme un peuple élu pour qui tout est permis.

« Il a excité des insurrections domestiques parmi nous, et s'est efforcé de faire venir les habitants de nos frontières, les Sauvages indiens impitoyables, dont la règle connue de la guerre, est une destruction indistincte de tous les âges, sexes et conditions ».

On dirait qu'il y a écrit "Ce sont des dangereuses bêtes qui veulent nous exterminer".
C'est peut être ce qu'il faut pour motiver un génocide...

Dans les années 1960 il y avait encore de la ségrégation raciale dans certains états des USA...

===
Bon après c'est une mauvaise idée de laisser les IA analyser tous les textes et censurer ceux qui ne vont pas.
Les algorithmes posent énormément de problème et notamment aux YouTubeurs, pour rien du tout ils se font démonétiser (si ils emploient un gros mot, si ils parlent de guerre, de mort, de sexe, etc).

Lui par exemple il ne doit pas être monétisé :
horror humanum est
Tout a commencé avec les vidéos de promotion de Daesh qui se sont retrouvé monétisé (du coup les entreprises étaient pas très contente que leur produit passe avant ce genre de vidéo).
These ads ran before ISIS videos

Et si on essayait avec les paroles de la Marseillaise ?

C'est haineux directement, un moment ça dit "Qu'un sang impur abreuve nos sillons".
"Sang impur" c'est haineux, en plus ça ne correspond pas à la façon de penser française...
En France il n'y a pas de notion de "sang pur" ou de "race". (on est pas allemand ^^)

[Neckara]

C'est haineux directement, un moment ça dit "Qu'un sang impur abreuve nos sillons".
"Sang impur" c'est haineux, en plus ça ne correspond pas à la façon de penser française...
En France il n'y a pas de notion de "sang pur" ou de "race". (on est pas allemand ^^)

Même à l'époque, je ne pense pas qu'ils considéraient les autrichiens comme une "race inférieur". Pour rappel, l’Autriche, c'était nos amis avant la révolution française, et Léopold II était le frère de Marie-Antoinette...

La notion de pureté est ici à comprendre dans le sens de "criminalité". Que les ennemis qui ont traversés la frontière pour nous tuer et nous réduire à l'esclavage (i.e. rétablir la royauté) deviennent dès lors criminels.

[Ryu2000]

Ouais mais l'IA va avoir du mal a voir la nuance...
"Sang impure" ça ne va pas.
Ou alors il fallait pas dire "qu'un sang impure", il fallait dire "que le sang de nos ennemis" ou "que le sang des personnes qui ne partagent pas nos opinions et qui cherchent à nous nuir" mais ça sonnait moins bien, le compte des syllabes était mauvais.
C'est pour ça qu'il ne faut pas interpréter les paroles trop loin, vu que la forme est plus importante (des fois on dit des choses qui ne veulent rien dire, parce que musicalement c'est bien).

Claude Joseph Rouget de Lisle - La Marseillaise

Le chant de guerre pour l'armée du Rhin a été composé en avril 1792 à Strasbourg, il devient la Marseillaise, puis est adopté comme hymne national de la France en 1879.

Les paroles de La Marseillaise sont marquées par les slogans patriotiques, et le style du temps, qu'on retrouve dans les affiches de conscription, ou autres chants : Aux armes, citoyens !, l'étendard sanglant est levé… Marchons… Il faut combattre, vaincre ou mourir… ou des images littéraires, comme chez Nicolas Boileau : …Et leurs corps pourris, dans nos plaines, n'ont fait qu'engraisser nos sillons (ode sur un bruit qui courut, en 1656, que Cromwell et les Anglais allaient faire la guerre à la France), comme d'autres chansons, alliant l'idée de patrie à celle de terre nourricière, de défense des plus faibles devant l'envahisseur (l'Europe coalisée contre la France), stigmatisant « les féroces étrangers qui ravissent d'entre nos bras nos femmes et nos enfants ».

[fredinkan]

Ouais mais l'IA va avoir du mal a voir la nuance...

Ce n'est pas que l'IA qui ne le voit pas.
La nuance des propos ou le contexte historique / géographique échappe à de nombreuses personnes de nos jours ...
Si ça échappe à de nombreuses personne, c'est tout aussi logique que ça échappe à une IA actuelle. Ce qui commencera à me faire peur, c'est quand cela échappera aux hommes mais plus à l'IA.


De la même façon que l'IA ne sera pas dangereuse en passant le test de turing, mais quand elle échouera volontairement à ce test.

[Ryu2000]

Ce qui commencera à me faire peur, c'est quand cela échappera aux hommes mais plus à l'IA.

Ouais enfin bon à partir d'une phrase on peut interpreter un peu tout et n'importe quoi...
Il suffit d'écouter les littéraires ^^
Imaginez une question "Qu'est-ce que l'auteur voulait dire par * ?".

C'est un peu comme les gens qui cherchent à interpréter les "oeuvre d'arts".
Alors qu'il existe des artistes qui disent clairement "Pour moi ça ne veut rien dire, mais je laisse le public essayer de trouver un sens".
Parfois les analyses vont plus loin que le vrai sens...
C'est comme la chanson "I Am the Walrus" des Beatles.
Quelqu'un leur à dit "À l'école on étude vos paroles", alors ils ont fait une chanson qui veut rien dire, juste pour faire chier !

J'avais pas vu dans ma propre citation mais :

de défense des plus faibles devant l'envahisseur (l'Europe coalisée contre la France), stigmatisant « les féroces étrangers qui ravissent d'entre nos bras nos femmes et nos enfants »

On dirait que l'Europe c'est l'ennemi de la France dans la Marseillaise !

[sergio_is_back]

Oui, un texte appelant au massacre d'une population est un discours de haine et pour le coup, les algorithmes ont plutôt bien fait leur boulot.

Censurer un texte historique, hors de tout contexte, c'est bien faire son travail ?
M'étonne pas que les gens deviennent de plus en plus cons alors.... Vivement l’avènement de l'IA généralisée qui nous dispensera de réfléchir et vendra le peu de cerveau
qui nous restera à Coca-cola...

[Sodium]

Je ne sais même pas sur quel sujet j'étais "à côté de la plaque", ni même pourquoi.
Sachant que j'ai eu une formation niveau BAC+5 touchant l'économie, cela me surprend.

Tu as donc une bien haute opinion de toi-même en plus d'être à côté de la plaque
Tu soutenais que le fait que des individus puissent posséder plus d'argent que le PIB de plusieurs pays n'est pas un problème.
Suite à quoi je t'avais mis en ignore list mais il m'arrive encore de m'écorcher les yeux sur les bêtises que tu assènes quand je surfe non connecté

C'est quoi aussi ce déshonneur par association, qui permet de discréditer sans aucune contre-argumentation sur le fond du propos ?
Que je sois à droite, à gauche, où que-sais-je, cela rend-il pour autant plus vrai ou plus faux mes propos ?

Tes propos sont faux parce qu'ils sont faux.
Le fait qu'ils expriment des idées d'extrême droit n'est que la cerise sur le gâteau du discrédit.

Censurer un texte historique, hors de tout contexte, c'est bien faire son travail ?

Dans la mesure où il s'agit bien de propos haineux, le premier réflexe consistant à les censurer avant éventuellement une vérification humaine est la bonne.
On ne va pas commencer à laisser passer tout est n'importe quoi sous prétexte que dans 0.00000000000000001% des cas il peut s'agir d'un texte historique a but commémoratif.

Si je me mets à citer Mein Kampf, on devrait laisser passer sous prétexte qu'il s'agit d'un texte historique ?

[RoiFrancaisMacr]

Ouais enfin bon à partir d'une phrase on peut interpreter un peu tout et n'importe quoi...
Il suffit d'écouter les littéraires ^^
Imaginez une question "Qu'est-ce que l'auteur voulait dire par * ?".

C'est un peu comme les gens qui cherchent à interpréter les "oeuvre d'arts".
Alors qu'il existe des artistes qui disent clairement "Pour moi ça ne veut rien dire, mais je laisse le public essayer de trouver un sens".
Parfois les analyses vont plus loin que le vrai sens...
C'est comme la chanson "I Am the Walrus" des Beatles.
Quelqu'un leur à dit "À l'école on étude vos paroles", alors ils ont fait une chanson qui veut rien dire, juste pour faire chier !

J'avais pas vu dans ma propre citation mais :

On dirait que l'Europe c'est l'ennemi de la France dans la Marseillaise !

Pourquoi tous tes posts sont inintéressants ?

1 ton argumentaire est foireux
2 tu spam avec des liens douteux pour la plupart
3 tu spam des liens qui contredisent ce que tu dis (mais bon encore faut il que tu lises complètement les articles)
4 quand ce nuisible sera t il banni ?

[Neckara]

Tu as donc une bien haute opinion de toi-même en plus d'être à côté de la plaque

Je devrais donc m'excuser d'avoir fait des études ?

Tu soutenais que le fait que des individus puissent posséder plus d'argent que le PIB de plusieurs pays n'est pas un problème.

Sachant que le plus petit PIB est d'environ 1 million d'€, dès que tu es millionnaire, tu possèdes plus que le PIB d'au moins un pays.

Pour peu que tu n'ai pas de système de retraite (et donc mettre toi-même de côté de l'argent on va dire ~1 000€/mois pour 20 ans), et une maison, tu es déjà presque demi-millionnaire. Si on considère le couple, on est vraiment plus très loin du million.
Pour peu que tu sois patron d'entreprise, même petite, le million, tu l'atteins aussi très vite.

EDIT:
Plus grosse fortune: ~112 milliards de $.
Il y a 82 pays sur 230 qui ont un PIB supérieur à 112 milliards de $.
La France, c'est à peu près 3 000 milliards de $.

Faut aussi remettre les choses dans leur contexte.

Suite à quoi je t'avais mis en ignore list mais il m'arrive encore de m'écorcher les yeux sur les bêtises que tu assènes quand je surfe non connecté

C'est en effet plus simple que d'argumenter contre...

Tes propos sont faux parce qu'ils sont faux.

Beau raisonnement circulaire...

Dans la mesure où il s'agit bien de propos haineux, le premier réflexe consistant à les censurer avant éventuellement une vérification humaine est la bonne.
On ne va pas commencer à laisser passer tout est n'importe quoi sous prétexte que dans 0.00000000000000001% des cas il peut s'agir d'un texte historique a but commémoratif.

Outre le chiffre totalement irréaliste, cela laisse le pouvoir à des personnes de censurer arbitrairement ce qu'elles ne jugent "pas correct", c'est dangereux.

Sans compte que derrière, il faut aussi avoir la main d’œuvre pour faire la vérification manuelle. Et là, ce sont les petits comptes dont tout le monde se moquent qui en pâtissent.

Sachant que de surcroît cela contrevient au principe "innocent jusqu'à preuve du contraire". Si de plus on considère la censure comme ayant un "impact juridique", cela en devient même illégal.

Si je me mets à citer Mein Kampf, on devrait laisser passer sous prétexte qu'il s'agit d'un texte historique ?

Comment veux-tu dénoncer et critiquer si tu ne peux pas citer ? Comment veux-tu même t'assurer du bien fondé de la critique et de la censure, si tu ne peux pas vérifier toi-même la teneur des propos ?
Comment veux-tu parler d'histoire si tu ne peux pas citer les éléments pertinents ?
Comment veux-tu lutter contre des idées dégueulasses si tu n'es pas capable de les opposer ?

[Ryu2000]

Dans la mesure où il s'agit bien de propos haineux, le premier réflexe consistant à les censurer avant éventuellement une vérification humaine est la bonne.
On ne va pas commencer à laisser passer tout est n'importe quoi sous prétexte que dans 0.00000000000000001% des cas il peut s'agir d'un texte historique a but commémoratif.

Pourquoi vouloir censurer automatiquement ?
La haine fait parti de la vie et il faut bien y être confronté...
Dans plein de grandes œuvres il y a de la haine ou des sentiments proche.

Ce qui est interdit c'est l'appelle à la violence ou les menaces.
Censurer des textes historiques c'est comme brûler des livres...
Ça changerait l'histoire, il faut que dans le futur on n'oublie pas que les étasuniens étaient raciste et ont commis un génocide.

Si je me mets à citer Mein Kampf, on devrait laisser passer sous prétexte qu'il s'agit d'un texte historique ?

En fait il y a débat...
Mais moi je dirais :
Oui, bien évidemment ! Pour éviter que le scénario ne se reproduise.
J'imagine que quand quelqu'un cite Mein Kampf c'est pour le critiquer, après je ne sais pas, j'ai pas souvenir d'avoir déjà lu une citation de ce livre...

Mein Kampf, le livre d'Hitler, bat des records sur le Net

Pourquoi donc, 70 ans après la chute du nazisme les idées d'Hitler font-elles toujours flores sur la Toile? Vocativ identifie deux raisons principales: la crise économique et le goût de l'interdit. Les idées extrêmes se nourrissent du malheur et des conséquences de la crise. Mein Kampf est le symbole historique de la radicalisation des idées consécutive à la Première Guerre mondiale, puis à l'effondrement économique de 1929. La montée des communautarismes qui est aujourd'hui une conséquence de la crise actuelle augmente certainement l'attrait du pamphlet hitlérien. Quant à l'attirance pour le fruit défendu sur la Toile, à n'en pas douter, la réputation sulfureuse du brûlot antisémite le place dans la catégorie des livres qu'il faut avoir lus sous le manteau. À l'instar du roman érotico-pornographique 50 Shades of Grey, il semble de bon ton pour le geek d'avoir dans sa bibliothèque numérique Mein Kampf...

[ddoumeche]

Pourquoi tous tes posts sont inintéressants ?

1 ton argumentaire est foireux
2 tu spam avec des liens douteux pour la plupart
3 tu spam des liens qui contredisent ce que tu dis (mais bon encore faut il que tu lises complètement les articles)
4 quand ce nuisible sera t il banni ?

Je ne suis pas d'accord pour un ban, Ryu2000 est une publicité vivante contre les ravages du cannabis.