Discussion :

[Bruno]

Le scandale néerlandais est un avertissement pour l'Europe sur les risques liés à l'utilisation des algorithmes,
l'administration fiscale a ruiné des milliers de vies après avec un algorithme

L'administration fiscale néerlandaise a ruiné des milliers de vies après avoir utilisé un algorithme pour repérer des soupçons de fraude aux prestations sociales et les critiques disent que rien n'empêche que cela se reproduise. En effet, l'autorité néerlandaise chargée des données personnelles (Autoriteit Persoonsgegevens, AP) a infligé une amende de 3,7 millions d'euros à l'administration fiscale et douanière en raison du traitement illégal de données à caractère personnel dans le système de notification des fraudes (FSV) pendant des années.

Au cours de son enquête sur le FSV, l'AP a découvert une longue liste de violations de la loi sur la protection de la vie privée, le Règlement général sur la protection des données (RGPD). Il s'agissait d'une liste noire sur laquelle l'administration fiscale et douanière gardait la trace des signaux de fraude. Cela a souvent eu des conséquences importantes pour les personnes qui figuraient à tort sur la liste.

La vie de Chermaine Leysner a basculé en 2012, lorsqu'elle a reçu une lettre de l'administration fiscale néerlandaise lui demandant de rembourser ses allocations de garde d'enfants remontant à 2008. Leysner, alors étudiante en travail social, avait trois enfants de moins de 6 ans et la facture fiscale s'élevait à plus de 100 000 €. « Je me suis dit : "Ne t'inquiète pas, c'est une grosse erreur". Mais ce n'était pas une erreur. C'était le début de quelque chose d'énorme », a-t-elle déclaré.

L'épreuve a pris neuf ans de la vie de Leysner. Le stress causé par la facture fiscale et le diagnostic de cancer de sa mère ont plongé Leysner dans la dépression et l'épuisement. Elle a fini par se séparer du père de ses enfants. « Je travaillais comme une folle pour pouvoir encore faire quelque chose pour mes enfants, comme leur donner de bonnes choses à manger ou leur acheter des bonbons. Mais il m'est arrivé que mon petit garçon doive aller à l'école avec un trou dans sa chaussure », raconte Leysner.

Leysner est l'une des dizaines de milliers de victimes de ce que les Néerlandais ont surnommé le "toeslagenaffaire", ou le scandale des allocations de garde d'enfants. En 2019, il a été révélé que les autorités fiscales néerlandaises avaient utilisé un algorithme d'autoapprentissage pour créer des profils de risque dans le but de repérer les fraudes aux allocations de garde d'enfants.

Les autorités pénalisaient les familles sur un simple soupçon de fraude basé sur les indicateurs de risque du système. Des dizaines de milliers de familles souvent à faibles revenus ou appartenant à des minorités ethniques ont été poussées dans la pauvreté en raison de dettes exorbitantes envers l'agence fiscale. Certaines victimes se sont suicidées. Plus d'un millier d'enfants ont été placés dans des familles d'accueil.

Par exemple, l'administration fiscale et douanière n'avait aucune base légale (fondement) pour traiter les données personnelles figurant sur la liste. Les données personnelles étaient également souvent incorrectes. En conséquence, des personnes ont été enregistrées à tort comme de possibles fraudeurs. En outre, la sécurité de la liste n'était pas en ordre. Et le responsable interne de la protection de la vie privée de l'administration fiscale et douanière n'a pas été impliqué dans la mise en place de la liste à temps.

Aleid Wolfsen, président de l'AP : « Avec le FSV, l'administration fiscale a violé les droits des 270 000 personnes figurant sur la liste d'une manière sans précédent. Depuis plus de 6 ans. Les gens étaient souvent étiquetés à tort comme des fraudeurs, avec des conséquences terribles. Si vous étiez sur le FSV, certains n'ont pas reçu d'arrangement de paiement ou n'étaient pas éligibles à la restructuration de la dette. Avec le FSV, l'administration fiscale et douanière a bouleversé les vies. »

Discrimination

Les recherches menées par l'administration fiscale elle-même ont également montré que le personnel avait pour instruction de fonder le risque de fraude en partie sur des éléments tels que la nationalité et l'apparence des personnes.

Aviez-vous la nationalité turque ou marocaine ? Ensuite, vous avez fait l'objet d'une enquête plus approfondie en raison de cette nationalité, sans aucune raison valable. Cette discrimination est inacceptable. L'administration fiscale et douanière a également mentionné les dons aux mosquées et les frais de médicaments élevés des personnes portant des noms de famille à consonance est-européenne comme facteurs de risque de fraude. Pour déterminer le montant de l'amende, le PA a également pris en considération le fait que l'Administration fiscale et douanière a fréquemment commis de graves violations de la LVA. En 2018, par exemple, l'AP a constaté que l'administration fiscale et douanière avait mal sécurisé les données personnelles.

En 2020, l'AP a imposé une interdiction de traitement à l'administration fiscale et douanière pour l'utilisation illégale du numéro de service du citoyen (BSN) dans le numéro d'identification TVA des travailleurs indépendants. Par ailleurs, l'administration fiscale et douanière a été condamnée à une amende de 2,75 millions d'euros par le PA en 2021 pour son approche discriminatoire et illégale dans l'affaire Toeslagen.

Alors que les gouvernements du monde entier se tournent vers les algorithmes et l'IA pour automatiser leurs systèmes, le scandale néerlandais montre à quel point les systèmes automatisés peuvent être dévastateurs sans les bonnes protections. L'Union européenne, qui se positionne comme le principal régulateur technologique au monde, travaille sur un projet de loi visant à limiter les méfaits des algorithmes. Mais, selon ses détracteurs, ce projet de loi passe à côté de la plaque et ne protège pas les citoyens contre des incidents comme ceux qui se sont produits aux Pays-Bas.

Source : Autoriteit Persoonsgegevens

Et vous ?

Quel est votre avis sur le sujet ?

À votre avis, le scandale néerlandais lié à l'utilisation des algorithmes sera-t-il un avertissement pour l'Europe ?

Voir aussi :

L'UE cherche à établir des normes mondiales pour l'utilisation de l'IA, mais des groupes de défense des droits civils s'inquiètent

40 % des « startups en IA » en Europe n'utilisent pas d'intelligence artificielle, l'IA est-il un argument pour attirer les investisseurs ?

La Commission européenne annonce l'Alliance européenne pour les données et le cloud, elle contribuera à façonner la prochaine génération de services, d'infrastructures et de cloud sécurisé

L'automatisation pourrait supprimer 12 millions d'emplois en Europe d'ici les 20 prochaines années, selon une étude de Forrester Research

[calvaire]

es ce l'algorithme/le logiciel le vrai coupable ?
c'est plutôt le service client/support qui n'a pas été capable de détecter le problème, le corriger pour les clients et surtout remonter ce bug.
Y'a eu une couille il y'a 2ans sur ma déclaration d’impôt, j'ai contacté un gars du service par mail, a examiné mon cas et il m'a réglé le problème.

Il est important de conserver un contact humain compétent derrière l'automatisation, au moindre soucis il règle notre problème.
C'est extrêmement énervent quand le SAV c'est un robot qui te répète le même blabla inutile. Ceux qui ont essayé de contacter le support youtube ou facebook par exemples savent de quoi je parle.

[TotoParis]

es ce l'algorithme/le logiciel le vrai coupable ?
c'est plutôt le service client/support qui n'a pas été capable de détecter le problème, le corriger pour les clients et surtout remonter ce bug.
Y'a eu une couille il y'a 2ans sur ma déclaration d’impôt, j'ai contacté un gars du service par mail, a examiné mon cas et il m'a réglé le problème.

Il est important de conserver un contact humain compétent derrière l'automatisation, au moindre soucis il règle notre problème.
C'est extrêmement énervent quand le SAV c'est un robot qui te répète le même blabla inutile. Ceux qui ont essayé de contacter le support youtube ou facebook par exemples savent de quoi je parle.

Là on ne parle parle pas de SAV, mais de gens qui ont été bousillés suite à des accusations sans fondements autres que les élucubration d'un logiciel informatique, et visiblement aucune enquête de police n'a été menée. Certaines personnes se sont suicidées, d'autres sont ruinées, et plein on été littéralement terrorisées comme ont peut l'être dans une dictature. Et toutes les autres vivent maintenant dans la peur de la répétition de ce type d'infamies. Non mais vous imaginez de telles exactions contre des multinationales qui fraudent massivement ? Ben non. Cela n'existe pas. Mais contre des populations pauvres, fragiles socialement et économiquement, c'est possible. Les fonctionnaires en cause devraient aller en prison, et payer de très lourdes amendes.

[OrthodoxWindows]

Là on ne parle parle pas de SAV, mais de gens qui ont été bousillés suite à des accusations sans fondements autres que les élucubration d'un logiciel informatique, et visiblement aucune enquête de police n'a été menée. Certaines personnes se sont suicidées, d'autres sont ruinées, et plein on été littéralement terrorisées comme ont peut l'être dans une dictature. Et toutes les autres vivent maintenant dans la peur de la répétition de ce type d'infamies. Non mais vous imaginez de telles exactions contre des multinationales qui fraudent massivement ? Ben non. Cela n'existe pas. Mais contre des populations pauvres, fragiles socialement et économiquement, c'est possible. Les fonctionnaires en cause devraient aller en prison, et payer de très lourdes amendes.

De plus, ces "décisions" administratives ont été prise sans décision de justice.

[Invité]

Bonsoir,

Le scandale néerlandais est un avertissement pour l'Europe sur les risques liés à l'utilisation des algorithmes, l'administration fiscale a ruiné des milliers de vies après avec un algorithme

Quel est votre avis sur le sujet ?

C'est tout bonnement scandaleux . Il y a eu de mémoire une affaire similaire avec la royal mail ? C'etait sur des transactions comptables.

Inversement en France l'administration est aveugle ... avec la fraude qui explose ...

A votre avis, le scandale néerlandais lié à l'utilisation des algorithmes sera -t-il un avertissement pour l'Europe ?

Oui

> Europe du Nord (Allemange, Pays Bas , GB ...) avec une administration "efficace" qui automatise à outrance . On assiste à des dérives liées à cette automatisation .
> Europe du Sud (France, Italie, Espagne ...) avec des problèmes de fraudes massives ... Ou alors des administrations complétements dépassés "très papier", avec de sérieux problèmes et lacunes en matière de sécurité documentaire ...

Un changement de paradigme , à l'échelle de l'UE serait le bienvenue, surtout en matière de simplification . Arrêter aussi d'urgence cette espèce de folie "technocratique/bureaucratique"

[Anselme45]

Inversement en France l'administration est aveugle ... avec la fraude qui explose ...

1. Tu es en retard d'une guerre: Le fisc français utilise déjà gogole map and Co pour détecter via de jolies images aériennes en libre service qui a construit une annexe à son pavillon ou une sympathique piscine que le vilain citoyen aurait oublié de déclarer au fisc

2. Le fisc a passé des accords d'échange d'information par exemple avec la Suisse, ce paradis fiscal que tout petit franchouillard croit encore exister: Un français ouvre un compte en banque en Suisse? Les autorités suisses l'annoncent immédiatement à Bercy, le fisc français.

3. Il n'y a plus que les grosses fortunes, amies d'un futur président qui va être réélu prochainement, qui passent entre les gouttes


Quand on se retrouve dans un pays où plus de la moitié de la population reçoit des aides sociales, il faut bien que quelques uns paient des impôts...

[Invité]

Bonjour,

1. Tu es en retard d'une guerre: Le fisc français utilise déjà gogole map and Co pour détecter via de jolies images aériennes en libre service qui a construit une annexe à son pavillon ou une sympathique piscine que le vilain citoyen aurait oublié de déclarer au fisc

J'ai vu passer un article avec un scandale qui a éclaté avec Google et Capgemini ^^ . Paru il y a 3 ou 4 semaines de mémoire .

3. Il n'y a plus que les grosses fortunes, amies d'un futur président qui va être réélu prochainement, qui passent entre les gouttes

Quand on se retrouve dans un pays où plus de la moitié de la population reçoit des aides sociales, il faut bien que quelques uns paient des impôts...

Tu parles à un belge dont le pays abrite aussi beaucoup de grosses fortunes française, donc tu ne m'apprends rien ... Bon on peut aussi garder vos riches

La France état socialiste et communiste qui pigne un pognon de dingue , sans jamais remettre en cause son fonctionnement.

[schlebe]

Je trouve bizarre que cet article n'évoque que la sanction infligée aux services d'état.

Le pactole perçu par le service de protection des données a-t-il bien été redistribué aux citoyens lésés ?

Les véritables coupables ont-ils été sanctionnés ?

Pour moi, payer une amende est largement insuffisant.

Si vous commettez une infraction manifeste de 100.000€ sur 270.000 citoyens (ce sont les seules données fournies dans cet article), l'infraction aura rapporté 27.000.000.000€, soit 27 milliards d'euros et qu'ensuite vous écopez d'une amende de 2,75 millions d'euros et que personne n'est poursuivi dans l'administration responsable, je ne vois pas ce qui va empêcher cette même administration de recommencer.

Je trouve donc dommage que cet article ne soit pas plus approfondi et n'explique pas mieux les tenants et les aboutissants du problème.

Cordialement

[talon]

Peut importe que l'algorithme donne des informations entachées de biais. Il est conçu pour donner une présomption de fraude (sur des critère discutables, mais c'est un autre problème), mais présomption ne vaut pas preuve. Il est ahurissant que des fonctionnaires se permettent d'infliger des sanctions à des administrés sans avoir fournit la preuve formelle de la fraude. Il est un principe de droit élémentaire qui dit que l'accusation à la charge de la preuve. L'accusé n'a pas la charge de la preuve de son innocence.
L'algorithme est défectueux ou donne des réponses idiote soit. Mais la vraie défaillance, c'est le comportement d'une administration qui agit sans contrôle ni pertinence. Il n'y a pas besoin de machine d'IA approximative pour agir de la sorte.

[Winnt]

Bonjour,

Il est un principe de droit élémentaire qui dit que l'accusation à la charge de la preuve. L'accusé n'a pas la charge de la preuve de son innocence.

Cette assertion est, globalement (sauf radars automatiques, hadopi...), vrai en droit français. Mais êtes-vous sûr que ce soit le cas en droit néerlandais ?

Sinon le recours à toutes les sauces aux algorithmes est une catastrophe. Car les utilisateurs font une confiance aveugle à ceux-ci sans appliquer le simple bon sens aux résultats.

[OCRAM]

En France, une telle aventure ne pourrait pas se produire. nous avons des principes forts, principalement édictés dans le Livre des Procédures Fiscales (art L55) notamment, (consultable sur Légifrance). En principe, la procédure de contrôle est dite "contradictoire" c'est-à-dire que d'un bout à l'autre, le contribuable est tenu informé du déclenchement de la procédure, des redressements envisagés et dispose de la faculté de se défendre. la charge de la preuve incombe à la DGFIP. deux exceptions : la taxation d'office, antichambre de la fraude, absence de déclarations malgré deux mises en demeure recommandées, et la fraude pure et simple, à caractère pénale. Même dans ces cas, le contribuable a la faculté de faire valoir ses droits, notamment par la voie de la réclamation, devant le tribunal administratif, la Cour d'administrative d'appel et même le Conseil d'Etat, voire le Conseil Constitutionnel sous la forme d'une QPC. Le contribuable peut exciper des dispositions du trop méconnu "Code des relations entre le public et l'administration", qui comporte les très importantes dispositions de protection de l'individu, notamment en relation avec des traitements automatisés de données, qu'ils reposent d'ailleurs, ou non, sur de la prétendue IA. Voir la loi 2016-1321.

Les finlandais ont enfin un recours devant la cour Européenne des droits de l'homme.


Marc Chernet, Expert-Comptable, Expert en systèmes d'information.

[Invité]

Bonjour,

Et ce fait divers où un garagiste a une tuile de 20 millions d'€ suite a une usurpation d'identité ? Il y a bien un problème dans les process d'automatisation et un manque criant de contrôle non ?

[coco_]

En attendant, tous les fonctionnaires qui ont validé le problème, les politiques etc. bref tous les responsables sont toujours en place. Eux, ne seront jamais sanctionnés.

[Paradoxalix]

Le cerveau est ainsi fait qu'il suffit de dessiner 3 points pour voir un triangle ou alors une direction : c'est un fait !
D'un autre côté depuis des millénaires des empires ont vacillé parce les chiffres annonçait ... en fait rien , mais le ton sur lequel c'était dit ne laissait rien présager de bon et donc ...
La numérologie commençait ces premiers ravages.

En fait les nombres ont un effet fascinant pour nombre de gens et ils développent des croyances à leur sujet et ensuite ils n'en démordent pas.

Mais prenons un exemple simple : si vous posez la question suivante à 999 / 1000 de nos contemporains :
Est-ce que 1000.000.000 œufs c'est plus que 999.999.999 œufs de la même couleur ?

Combien déclareront que cette question n'a absolument pas le moindre sens et que les chiffres n'y changeront absolument rien !

Combien vous diront qu'ils ' savent ! ' ; vous avez ici un moyen de comprendre l'essentiel de l' I.A.

Comme tous les strings elle montre tout ... mais pas l'essentiel.

Paradoxalix

[TJ1985]

Sérieusement, lorsqu'un service d'Etat est condamné à une amende, qui paie vraiment ? Vous avez déjà vu un État avoir une source de revenu autre que les contribuables ?

[Invité]

Bonsoir,

Sérieusement, lorsqu'un service d'Etat est condamné à une amende, qui paie vraiment ? Vous avez déjà vu un État avoir une source de revenu autre que les contribuables ?

Impots = les contribuables
Taxes = les consommateurs
Frais administratifs = les administrés

Ce qui fait 3 sources de revenus

[OrthodoxWindows]

Bonsoir,



Impots = les contribuables
Taxes = les consommateurs
Frais administratifs = les administrés

Ce qui fait 3 sources de revenus

Le point commun, c'est que ce sont les gens (toujours les mêmes qui trinquent).
Si les politiciens écopaient d'amendes pour réparer leur mauvaise décision, il ferait moins les malins...

[TJ1985]

Bonsoir,



Impots = les contribuables
Taxes = les consommateurs
Frais administratifs = les administrés

Ce qui fait 3 sources de revenus

Si on raisonne en informaticien, de quoi ces objets sont-ils les instances ? Les citoyens me semble-t-il. J'ajoute que dans un système honnête, les taxes sont réduites au minimum et attribuées et chaque citoyen contribue au bien public en payant des impôts, même très peu.

[cdubet]

comme d autres l ont signalé avant moi, le probleme numero 1 est quand meme que les sorties foireuses d un logiciel n ont pas ete detectées et qu elle ont m^eme donné suite a des amendes.
En parle ici d un pays d europe, comment est ce possible d etre condamné a payer sans avoir de possibilités de se defendre ? (en france c est en theorie possible meme en cas de PV, bon c est sur que j ai un ami qui a essayé et on voit que c est plus theroique que pratique avec un juge qui ne vous ecoute pas)

Pour le reste, a partir du moment ou vous avez un logiciel d apprentissage, c est sur que vous pouvez pas controler pourquoi il decide blanc ou noir et vous ne pourrez pas vous assurez que ces criteres seront politiquement correct (comme ne pas discriminer certains ationalités)

PS: il y a quand meme aussi un truc qui m a choqué. au debut de l article on a une fille qui est etudiante (donc pas de revenu) et qui reussit a faire 3 enfants... Elle sait que la pilule ca existe ?

[Madmac]

Peut importe que l'algorithme donne des informations entachées de biais. Il est conçu pour donner une présomption de fraude (sur des critère discutables, mais c'est un autre problème), mais présomption ne vaut pas preuve. Il est ahurissant que des fonctionnaires se permettent d'infliger des sanctions à des administrés sans avoir fournit la preuve formelle de la fraude. Il est un principe de droit élémentaire qui dit que l'accusation à la charge de la preuve. L'accusé n'a pas la charge de la preuve de son innocence.
L'algorithme est défectueux ou donne des réponses idiote soit. Mais la vraie défaillance, c'est le comportement d'une administration qui agit sans contrôle ni pertinence. Il n'y a pas besoin de machine d'IA approximative pour agir de la sorte.

Et cette croyance stupide que les machines ne font jamais d'erreurs. J'ai entendu ce commentaire de fonctionnaire , plus d'une fois.