Discussion :

[Jonathan]

l'UE devrait interdire le scoring des citoyens et la surveillance de masse à l'aide de l'IA
selon un groupe d'experts de haut niveau

Dans le domaine du marketing, le scoring est une technique qui permet d'affecter un score à un client ou prospect. Le score obtenu traduit généralement la probabilité qu'un individu réponde à une sollicitation marketing ou appartienne à la cible recherchée. Mais le scoring dont il est question ici est une toute autre chose. L’idée ici est de collecter des centaines de données sur les individus et les entreprises à partir des réseaux sociaux et via les caméras de surveillance intelligentes. Seront donc passées au crible la légalité et la moralité dans les domaines économiques, sociaux et politiques, avec pour but un score dont découleront des récompenses ou des sanctions.

Ce système, qui est actuellement expérimenté par le gouvernement chinois, soulève quelques inquiétudes chez certaines personnes du côté de l'Europe. D'ailleurs un groupe d'experts de haut niveau sur l'IA, réunis par l'Union européenne, a recommandé l'interdiction d'utiliser l'IA pour le scoring des citoyens et la surveillance de masse. Le groupe a été créé en juin 2018, et est composé d'un mélange d'experts de l'industrie de l'IA, de représentants de la société civile, de conseillers politiques, d'universitaires et d'experts juridiques. Leurs recommandations font partie des efforts en cours de l'UE pour se positionner en tant que chef de file de la soi-disant IA éthique.

En fait, ces experts craignent que les gouvernements, dans leur désir de d'accroître la sécurité, poussent cette surveillance à des niveaux qu'ils qualifient de dangereux : « Les gouvernements pourraient être tentés de sécuriser la société en construisant un système de surveillance généralisé basé sur des systèmes d'IA, mais cela serait extrêmement dangereux si on le poussait à des niveaux extrêmes. Les gouvernements devraient s’engager à ne pas participer à une surveillance massive des individus et à déployer et acquérir uniquement des systèmes d’IA fiables, conçus pour respecter la loi et les droits fondamentaux, alignés sur des principes éthiques et solides du point de vue socio-technique ». C'est ce qu'a écrit ce groupe d'experts dans son nouveau rapport. Ces experts recommandent donc à l'UE d'interdire l'utilisation de l'IA pour le scoring des citoyens et la surveillance de masse.

Ce rapport contient des recommandations spécifiques parmi lesquelles : l'identification des domaines de recherche sur l'IA nécessitant un financement, encourager l'UE à intégrer la formation à l'IA dans les écoles et les universités, et en suggérant de nouvelles méthodes pour surveiller l'impact de l'IA. Il semblerait que ce soit ce qui se passe avec le système de crédit social naissant en Chine, qui alimente les craintes de ces experts. Ils ont également mentionné le fait qu’il existait déjà des systèmes similaires de surveillance et de répression en Occident, mais qu’au lieu d’être supervisés par des gouvernements, ils étaient gérés par des sociétés privées. Ce qui complique donc un peu les choses, car si l'UE venait à appliquer les recommandations d'interdiction du scoring des citoyens, il restera à savoir si cette interdiction couvrira également les activités des sociétés privées.

Entre autres choses, les experts appellent également à soutenir le développement de mécanismes de protection des données personnelles et à permettre aux individus de contrôler leurs données. Ils suggèrent aussi que les États membres et la Commission devraient également concevoir des moyens pour analyser, mesurer et évaluer en continu l'impact de l'IA sur la société. Le rapport produit par ces experts s'est heurté à plusieurs comme celle de Fanny Hidvegi, responsable des politiques européennes du groupe de défense des droits numériques Access Now, qui a déclaré que le document était trop vague et manquait de clarté sur les garanties, les lignes rouges et les mécanismes d'application.

Bien qu’elles ne soient pas contraignantes, les recommandations faites par ces experts auront probablement une influence sur les décisions politiques prises par la prochaine Commission européenne, qui devrait entrer en fonction en novembre.

Source : Rapport

Et vous ?

Quelle est votre position concernant la surveillance de masse ?
Que pensez-vous de ces recommandations ?
Pensez-vous qu'elles influenceront les décisions de la Commission européenne ?

Voir aussi :

Pour Elon Musk l'IA est bien plus dangereuse que l'arme nucléaire alors que Bill Gates estime que l'IA est à la fois porteuse d'espoir et dangereuse
L'IA de génération de texte d'Elon Musk trop dangereuse pour être rendue publique selon ses créateurs
L'IA pourrait supplanter 40% des emplois du monde dans 15 ans l'humanité arrivera-t-elle à surmonter ce bouleversement technologique ?

[BugFactory]

Une très bonne nouvelle, toute décision visant à empêcher l'IA de transformer nos sociétés en états policiers est la bienvenue. Espérons que ces recommandations deviennent législation.

[Ryu2000]

Pensez-vous qu'elles influenceront les décisions de la Commission européenne ?

Je ne sais pas... L'UE ne va peut-être rien faire contre la surveillance de masse. (l'UE serait plus du genre à créer un système global pour que toutes les nations partagent des infos ^^ )
Les gouvernements veulent surveiller leur peuple.

Le pouvoir veut limiter la liberté des peuples, si on laisse tout le monde s'exprimer librement on risque de voir apparaître des mouvements comme celui des gilets jaunes.
La surveillance de masse est déjà là, elle va très progressivement s'amplifier, ça va être plus subtil qu'en Chine, des prétextes comme la lutte contre le terrorisme et la lutte contre le racisme seront utilisé pour justifier ces changements.

[pierre-y]

"l'UE devrait interdire le scoring des citoyens et la surveillance de masse à l'aide de l'IA"
Et dans un même temps facebook va fournir toute les données possible de personne jugé "haineuse" sur internet, la notion de "haineux" englobant tout est rien allant de la personne vraiment dangereuse a celui qui aura juste argumenté de manière intelligente mais pas forcement bien pensante une réponse. J'ai du mal a croire que ça se ferra sans IA (IA qu'on attend toujours d'ailleurs).

[Ecthelion2]

"l'UE devrait interdire le scoring des citoyens et la surveillance de masse à l'aide de l'IA"
Et dans un même temps facebook va fournir toute les données possible de personne jugé "haineuse" sur internet, la notion de "haineux" englobant tout est rien allant de la personne vraiment dangereuse a celui qui aura juste argumenté de manière intelligente mais pas forcement bien pensante une réponse. J'ai du mal a croire que ça se ferra sans IA (IA qu'on attend toujours d'ailleurs).

C'est normal, c'est parce que tu n'as pas lu l'article correctement (ou en diagonale).

Facebook fournira les données SUR DEMANDE D'UN JUGE, donc les propos auront été déclarés "haineux" lors d'un jugement (que cela soit facile ou non de définir ce qui est un propos haineux ou non pour un juge, là n'est pas la question), et donc seront déjà connus par la justice avant même qu'elle demande les infos à Facebook, donc il n'y a strictement aucun besoin d'une IA pour identifier quoi que ce soit...

C'est en faisant des lectures d'articles comme cela, à la va-vite, que l'on propage des fake-news dans tous les sens.

[tanaka59]

Une intelligence artificielle comme son nom l'indique est une intelligence créée de toute pièce.

Donc ce n'est pas une intelligence.

Juste une boite de pandore que l'on va ouvrir et ou on ne comprendra pas la logique derrière faute d'étude ... Je vous laisse passer les effets "random" que cela va créer.

[Ryu2000]

Donc ce n'est pas une intelligence.

Peu importe...
Ce n'est qu'un problème de terminologie.

En Chine il y a des caméras partout, les algorithmes sont capable de trouver à qui appartient le visage, les citoyens ont des scores et ils peuvent perdre des droits en ayant un mauvais score.
Certains chinois n'ont plus le droit de prendre certains trains, parce qu'ils n'ont pas remboursé des dettes.

C'est un peu comme si il y avait différentes classes de citoyen, si ça existait en France les gilets jaunes deviendraient des sous citoyens.

[tanaka59]

Peu importe...
Ce n'est qu'un problème de terminologie.

En Chine il y a des caméras partout, les algorithmes sont capable de trouver à qui appartient le visage, les citoyens ont des scores et ils peuvent perdre des droits en ayant un mauvais score.
Certains chinois n'ont plus le droit de prendre certains trains, parce qu'ils n'ont pas remboursé des dettes.

C'est un peu comme si il y avait différentes classes de citoyen, si ça existait en France les gilets jaunes deviendraient des sous citoyens.

Quand on connait le nombres de fraudeurs aux prestations sociales, une système de crédit serait pas du luxe pour éjecter certains malhonnêtes. Il peut y avoir des dérives c'est vrai.

Je ne m'en cache pas en France je pense qu'un système de crédit social serait pas mal dans certains contextes (prestation caf, pôle emploi, assurance maladie ... )

---

Sinon pour répondre aux questions :

Quelle est votre position concernant la surveillance de masse ?

Je suis pour , elle existe déjà depuis longtemps.

Que pensez-vous de ces recommandations ?

Savoir l'utiliser de manière raisonné , pas avoir une usine à gaz. Privilégier les utilisations pour la lutte contre la fraude et criminalité.

Pensez-vous qu'elles influenceront les décisions de la Commission européenne ?

On ne vas rien influencer car la surveillance de masse existe déjà.

[Ecthelion2]

Quand on connait le nombres de fraudeurs aux prestations sociales, une système de crédit serait pas du luxe pour éjecter certains malhonnêtes. Il peut y avoir des dérives c'est vrai.

Je ne m'en cache pas en France je pense qu'un système de crédit social serait pas mal dans certains contextes (prestation caf, pôle emploi, assurance maladie ... )

Tu sais que ces fraudes ne représentent strictement rien comparés aux malhonnêtes qui font de la fraude ou de l'évasion fiscale hein ?

Si on mettait un système de crédit social vraiment moral et objectif, une très grosse partie des grosses entreprises et multinationales françaises verraient leurs dirigeants finir interdit de tout, de même pour de nombreux politiciens etc. Il y aurait beaucoup plus de gens aisés impactés que de fraudeurs à la prestation sociale.

Moi je suis pas contre hein, au contraire, mais contrairement à ce qu'essaie de nous faire croire le gouvernement, la chasse à la fraude aux prestations sociales, c'est le cadet de nos soucis économiquement parlant, il y a plus urgent à faire, mais bon, cela signifie taper sur les membres ou les amis du-dit gouvernement, donc ce n'est pas prêt d'arriver...

[tanaka59]

Tu sais que ces fraudes ne représentent strictement rien comparés aux malhonnêtes qui font de la fraude ou de l'évasion fiscale hein ?

Si on mettait un système de crédit social vraiment moral et objectif, une très grosse partie des grosses entreprises et multinationales françaises verraient leurs dirigeants finir interdit de tout, de même pour de nombreux politiciens etc. Il y aurait beaucoup plus de gens aisés impactés que de fraudeurs à la prestation sociale.

Moi je suis pas contre hein, au contraire, mais contrairement à ce qu'essaie de nous faire croire le gouvernement, la chasse à la fraude aux prestations sociales, c'est le cadet de nos soucis économiquement parlant, il y a plus urgent à faire, mais bon, cela signifie taper sur les membres ou les amis du-dit gouvernement, donc ce n'est pas prêt d'arriver...

Faut il rappeler que la fraude aux prestations sociales c'est le contribuable qui paye via son salaire ? Toi , Moi , Vous ... Les cotisations prélevées par les URSSAF chaque moi .

[BugFactory]

Quand on connait le nombres de fraudeurs aux prestations sociales, une système de crédit serait pas du luxe pour éjecter certains malhonnêtes. Il peut y avoir des dérives c'est vrai.

Je ne m'en cache pas en France je pense qu'un système de crédit social serait pas mal dans certains contextes (prestation caf, pôle emploi, assurance maladie ... )

---

Sinon pour répondre aux questions :



Je suis pour , elle existe déjà depuis longtemps.



Savoir l'utiliser de manière raisonné , pas avoir une usine à gaz. Privilégier les utilisations pour la lutte contre la fraude et criminalité.



On ne vas rien influencer car la surveillance de masse existe déjà.

La surveillance de masse comme solution à la fraude aux prestations sociales, c'est pas un peu totalement disproportionné? On en entend habituellement parler au sujet du terrorisme ou de la copie illégale, mais ça c'est nouveau. C'est tuer des mouches à la bombe atomique.

[Invité]

Faut il rappeler que la fraude aux prestations sociales c'est le contribuable qui paye via son salaire ? Toi , Moi , Vous ... Les cotisations prélevées par les URSSAF chaque moi .

Les très rares cas de fraude non détectés seulement. La fraude détectée étant déjà punie, le crédit social ne change rien à rien. Pour info, les chiffres de fraude qu'on te donne à la télé incluent les trop perçus dus au fonctionnement normal des organismes (la situation des prestataires étant réévaluée à intervalles réguliers, et non en temps réel). Tu ne paies pas les trop perçus, et tu ne paies pas non plus la fraude détectée par les organismes. Reste la vraie fraude non détectée, et donc non chiffrable. Sachant que les prestataires sont déjà ultra surveillés de nos jours, je ne vois pas à quoi servirait un crédit social là-dessus, à part à punir des mecs qui se seront emmêlés les pinceaux dans la déclaration (et pour qui le contribuable ne paie pas de tout manière).

[pierre-y]

C'est normal, c'est parce que tu n'as pas lu l'article correctement (ou en diagonale).

Facebook fournira les données SUR DEMANDE D'UN JUGE, donc les propos auront été déclarés "haineux" lors d'un jugement (que cela soit facile ou non de définir ce qui est un propos haineux ou non pour un juge, là n'est pas la question), et donc seront déjà connus par la justice avant même qu'elle demande les infos à Facebook, donc il n'y a strictement aucun besoin d'une IA pour identifier quoi que ce soit...

C'est en faisant des lectures d'articles comme cela, à la va-vite, que l'on propage des fake-news dans tous les sens.

Et vous voulez que facebook fournisse ces donnés a qui d'autre que la justice exactement? J'ai bien lut l'article merci. Je dis que des propos déclaré "haineux" ça ne veut pas dire grand chose, ceci pouvant dire tout est n'importe quoi et je m'inquiète de ce genre de dérive. J'imagine bien ce que ça peut donné avec les gilets jaunes par exemple.

[Mimoza]

Trop tard, la plus part (si ce n'est tous) des pays européen ont mis le doigt dedans.

[Ecthelion2]

Faut il rappeler que la fraude aux prestations sociales c'est le contribuable qui paye via son salaire ? Toi , Moi , Vous ... Les cotisations prélevées par les URSSAF chaque moi .

Faut-il rappeler que le manque à gagner de l'évasion et la fraude fiscale, c'est le contribuable qui paye avec ses impôts et chaque nouvelle taxe qui voit le jour ?

[Ecthelion2]

Et vous voulez que facebook fournisse ces donnés a qui d'autre que la justice exactement? J'ai bien lut l'article merci. Je dis que des propos déclaré "haineux" ça ne veut pas dire grand chose, ceci pouvant dire tout est n'importe quoi et je m'inquiète de ce genre de dérive. J'imagine bien ce que ça peut donné avec les gilets jaunes par exemple.

Et donc si vous avez compris que cela se fera par la biais de la justice, pourquoi avoir évoqué le besoin d'avoir une IA, et pour identifier quoi au final ?

Quand au fait de pouvoir définir facilement ou non un propos de haineux par un juge, oui c'est compliqué, mais je le redis ce n'est pas la question ici et cela ne concerne en rien Facebook. Il ne faut pas tout mélanger. Si on peut qualifier tout et n'importe quoi de haineux, c'est la loi interdisant les propos haineux qu'il faut revoir afin qu'ils y soient mieux définis. Mais c'est complètement hors-sujet avec le fait que Facebook doivent communiquer des données concernant quelqu'un ayant été jugé coupable par la justice.

Les dérives de quoi ? les seules dérivent possibles viennent du fait de ce qui peut être qualifié de haineux ou non par le juge, le flou est là encore une fois, la dérive ne viendra pas du fait que Facebook doivent obéir à une décision de justice déjà prise... Le truc qui vous inquiète est légitime, mais il est à l'étape d'avant.

C'est comme quand la justice demande à un opérateur téléphonique de lui fournir la liste la liste de tous les appels passés et reçus par un coupable, et pourtant, dans ces cas-là vous ne venez pas crier au scandale du fait que l'opérateur téléphonique obéisse à une décision de justice. Le sujet dont on parle ici, n'est juste que l'application à Facebook, de ce qui se faisait déjà depuis des dizaines d'années avec d'autres moyens de communications, c'est juste de la cohérence, et pas un complot pour surveiller les citoyens hein.

[Ryu2000]

Je ne m'en cache pas en France je pense qu'un système de crédit social serait pas mal dans certains contextes (prestation caf, pôle emploi, assurance maladie ... )

Mais purée, surveiller la population c'est une pratique de dictature, c'est comme le film "La Vie des autres" mais en pire parce que les algorithmes peuvent écouter tout le monde.
On ne peut pas accepter qu'en permanence le gouvernement lise tous nos emails et messages privés, écoute tous nos appelles et toutes nos discussions, tout ça pour éviter que des gens profitent trop des aides sociales.

Bon à la limite qu'on surveille ceux qui sont plus susceptible de violer les lois : les élus.
La fraude fiscale atteint 100 milliards d'euros par an, selon un rapport
100 milliards ça fait un paquet de RSA.

Je suis pour , elle existe déjà depuis longtemps.

On ne devrait pas accepter de perdre des libertés.
La balance bénéfice/risque penche totalement du côté du risque.

Savoir l'utiliser de manière raisonné , pas avoir une usine à gaz.

La surveillance de masse ce n'est jamais raisonné.
Le peuple est écouté et surveillé en permanence, donc on ne peut pas l'accepter.

Imagine avec un fou d'LREM au pouvoir, il pourrait mettre ses ennemis politique dans des camps.
Ça pourrait finir en : "Puisque tu n'aimes pas l'UE tu vas faire un camp de rééducation" et après c'est la scène d'orange mécanique avec le lavage de cerveau, on va essayer de faire croire que sans l'UE c'est le fascisme et la guerre.

[Darkzinus]

Faut il rappeler que la fraude aux prestations sociales c'est le contribuable qui paye via son salaire ? Toi , Moi , Vous ... Les cotisations prélevées par les URSSAF chaque moi .

Comme pour les cadeaux aux entreprises, les niches fiscales, les évasions fiscales … qui sont autrement plus coûteuses !

[yukihira]

La société (française du moins) actuelle se base déjà à très grande majorité sur un système de notation. On veut tout noter. Comparer 2 notes permettent de choisir quelqu'un par rapport à un autre dans presque tous les domaines: éducation, travail, allocation, rémunération... Les notes permettent à certains de conforter sa position actuelle (se réconforter) (je suis premier de la classe, j'ai 30 ans d'expériences, je gagne un salaire à 7 chiffres, je suis arrivé avant tout le monde, je suis l'aîné...). On note des œuvres d'art, des prestations télévisées, des sportifs, des étudiants, des candidats, des salariés, etc...

On est bien content quand on a une bonne note (égard, compensation, estime de soi, etc...). On l'est un peu moins avec une note moins bonne (mépris et/ou pitié de la société, punition, etc...). C'est bête, et je n'y adhère pas du tout, mais la vie est comme ça. Tout le monde veut être noté sur tout. C'est juste une évolution naturelle des choses si on va noter globalement tous les citoyens afin d'établir une hiérarchie globale (pour répartir des tâches et des compensations, et établir des récompenses et des réprimandes). Ceux qui pensent avoir une bonne note seront des fervents défenseurs de cette méthode, alors que ceux qui pensent être moins favorisés seront contres (tout en sachant qu'on peut basculer de l'un vers l'autre à tout moment). Mais à la fin, que ce soit publiquement ou en privé, tout le monde attribue une note à tout le monde sur presque tout.

Si on doit vraiment avoir ce système de notation global, il faut que toutes les règles soient publiques, et applicables à tout le monde (du chef de l'état jusqu'au plus petit enfant). Mais l'idéal est toujours de ne jamais tomber dans cette piège de système de notation qui n’avantage que ceux qui le mettent en place.

[virginieh]

Comme pour les cadeaux aux entreprises, les niches fiscales, les évasions fiscales … qui sont autrement plus coûteuses !

Non mais sa réponse est logique, mettons que chaque mois tu perdes 10 centimes dues aux fraudes aux allocations, et 10 euros a causes des fraudes fiscales. Le mot centime etant bien avant le mot euro dans le dictionnaire, la lutte contre les premières doit focément être prioritaire sur la lute contre les secondes.