Discussion :

[Jade Emy]

Attaques d'empoisonnement spécifiques aux invites sur les modèles génératifs texte-image : Nightshade altère les données d'entraînement et permet aux artistes de lutter contre l'IA générative.

Un nouvel outil permet aux artistes d'ajouter des modifications invisibles aux pixels de leurs œuvres avant de les mettre en ligne, de sorte que si elles sont intégrées dans un ensemble d'entraînement à l'IA, le modèle qui en résulte peut se briser de manière chaotique et imprévisible. L'outil, appelé Nightshade, est conçu comme un moyen de lutter contre les entreprises d'IA qui utilisent les œuvres d'artistes pour entraîner leurs modèles sans l'autorisation du créateur.

L'utilisation de cet outil pour "empoisonner" ces données d'entraînement pourrait endommager les futures itérations des modèles d'IA générateurs d'images, tels que DALL-E, Midjourney et Stable Diffusion, en rendant certains de leurs résultats inutiles : les chiens deviennent des chats, les voitures des vaches, et ainsi de suite.

Les sociétés d'IA telles que OpenAI, Meta, Google et Stability AI sont confrontées à une série de poursuites de la part d'artistes qui affirment que leurs œuvres protégées par le droit d'auteur et leurs informations personnelles ont été récupérées sans consentement ni compensation. Ben Zhao, professeur à l'université de Chicago, qui a dirigé l'équipe à l'origine de la création de Nightshade, espère que cette solution contribuera à faire pencher la balance des entreprises d'IA vers les artistes, en créant un puissant moyen de dissuasion contre le non-respect des droits d'auteur et de la propriété intellectuelle des artistes.

L'équipe de Zhao a également mis au point Glaze, un outil qui permet aux artistes de "masquer" leur style personnel pour éviter qu'il ne soit récupéré par les entreprises d'IA. Cet outil fonctionne de la même manière que Nightshade : il modifie les pixels des images de manière subtile, invisible à l'œil humain, mais manipule les modèles d'apprentissage automatique pour qu'ils interprètent l'image comme quelque chose de différent de ce qu'elle montre en réalité. L'équipe a l'intention d'intégrer Nightshade dans Glaze, et les artistes peuvent choisir d'utiliser ou non l'outil d'empoisonnement des données. L'équipe envisage également de rendre Nightshade open source, ce qui permettrait à d'autres de le bricoler et de créer leurs propres versions. Plus les gens l'utiliseront et créeront leurs propres versions, plus l'outil deviendra puissant, explique Zhao. Les ensembles de données pour les grands modèles d'IA peuvent être constitués de milliards d'images, donc plus il y a d'images empoisonnées qui peuvent être introduites dans le modèle, plus la technique causera de dégâts.

Nightshade exploite une faille de sécurité dans les modèles génératifs d'IA, qui découle du fait qu'ils sont entraînés sur de grandes quantités de données : dans ce cas, des images qui ont été récupérées sur l'internet. Nightshade s'attaque à ces images. Les artistes qui souhaitent mettre leurs œuvres en ligne, mais ne veulent pas que leurs images soient récupérées par des sociétés d'intelligence artificielle peuvent les télécharger sur Glaze et choisir de les masquer avec un style artistique différent du leur. Ils peuvent également choisir d'utiliser Nightshade. Lorsque les développeurs d'IA fouillent l'internet pour obtenir davantage de données afin d'améliorer un modèle d'IA existant ou d'en créer un nouveau, ces échantillons empoisonnés se frayent un chemin dans l'ensemble des données du modèle et provoquent un dysfonctionnement de celui-ci. Les échantillons de données empoisonnées peuvent manipuler les modèles pour qu'ils apprennent, par exemple, que les images de chapeaux sont des gâteaux et que les images de sacs à main sont des grille-pain. Les données empoisonnées sont très difficiles à supprimer, car il faut que les entreprises technologiques trouvent et suppriment minutieusement chaque échantillon corrompu.

Nightshade va faire réfléchir les entreprises d'IA à deux fois, "parce qu'elles ont la possibilité de détruire tout leur modèle en prenant notre travail sans notre consentement", déclare Eva Toorenent, une illustratrice et artiste qui a utilisé Glaze. "Je suis vraiment reconnaissante que nous disposions d'un outil qui peut aider à rendre le pouvoir aux artistes pour leur propre travail", ajoute Autumn Beverly, une autre artiste.

Les attaques par empoisonnement des données manipulent les données d'apprentissage pour introduire des comportements inattendus dans les modèles d'apprentissage automatique au moment de l'apprentissage. Pour les modèles génératifs texte-image avec des ensembles de données d'apprentissage massifs, la compréhension actuelle des attaques par empoisonnement suggère qu'une attaque réussie nécessiterait l'injection de millions d'échantillons empoisonnés dans leur pipeline d'apprentissage. Dans cet article, nous montrons que les attaques par empoisonnement peuvent réussir sur les modèles génératifs. Nous observons que les données d'entraînement par concept peuvent être assez limitées dans ces modèles, ce qui les rend vulnérables aux attaques d'empoisonnement spécifiques aux invites, qui ciblent la capacité d'un modèle à répondre à des invites individuelles.

Nous présentons Nightshade, une attaque d'empoisonnement optimisée et spécifique à l'invite, dans laquelle les échantillons d'empoisonnement sont visuellement identiques à des images bénignes avec des invites textuelles correspondantes. Les échantillons de poison Nightshade sont également optimisés pour leur puissance et peuvent corrompre une invite Stable Diffusion SDXL en <100 échantillons de poison. Les effets du poison Nightshade s'étendent aux concepts connexes, et plusieurs attaques peuvent être composées ensemble dans un seul message-guide. De manière surprenante, nous montrons qu'un nombre modéré d'attaques Nightshade peut déstabiliser les caractéristiques générales d'un modèle génératif texte-image, rendant ainsi inopérante sa capacité à générer des images significatives. Enfin, nous proposons l'utilisation de Nightshade` et d'outils similaires comme dernière défense pour les créateurs de contenu contre les racleurs de sites web qui ignorent les directives d'exclusion/de non-crawl, et nous discutons des implications possibles pour les formateurs de modèles et les créateurs de contenu.

Source : Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models

Et vous ?

Quel est votre avis sur ce nouvel outil Nightshade ?
Pensez-vous que cet outil est une solution durable les auteurs contre l'IA ?

Voir aussi :

Google défendra les utilisateurs de l'IA générative contre les plaintes pour violation du droit d'auteur, cette indemnisation comprend les données d'entrainement d'IA et les résultats générés

La "distillation pas-à-pas", un nouveau paradigme d'apprentissage pour surpasser les performances des grands LLM, avec moins de données d'entraînement et des modèles d'IA de plus petite taille

Des milliers d'auteurs s'opposent à l'exploitation de leur travail sans permission ni rémunération par l'IA générative, certains ont déjà intenté des actions en justice contre OpenAI

[ab1___]

C'est du terrorisme. Les auteurs de cet algorithme ont une volonté de nuire et de détruire le travail des autres. La propriété intellectuelle est une notion égocentrique qu'ul faudrait éradiquer: c'est l'une des bases du capitalisme destructeur de notre planète. Les modèles génératifs ne reproduisent pas les œuvres avec lesquelles elles ont été entraînées, elles s'en inspirent.

[ciola]

Quelle est la différence entre une IA fonctionnant par apprentissage basé sur le travail des humains et un artiste influencé par ses congénères?

[archqt]

Certes elles ne volent pas les œuvres, mais s'en inspirent tellement que le pauvre graphiste ne sera pas embauché bien longtemps. Tout travail mérite salaire. Il est clair que ce métier devra évoluer un peu, faire un premier jet par IA, et ensuite finir la boulot, plutôt que faire tout de A à Z...

[ab1___]

This is MAD: Model Autophagy Disease
https://youtu.be/PsHhqxwPqps?si=MUWTMQLysOQ2di-t

L'empoisonnement des données est le plus grand facteur de risque au niveau de l'AI et ceux qui le font consciemment mettent l'humanité en danger.

[kain_tn]

C'est du terrorisme. Les auteurs de cet algorithme ont une volonté de nuire et de détruire le travail des autres. La propriété intellectuelle est une notion égocentrique qu'ul faudrait éradiquer: c'est l'une des bases du capitalisme destructeur de notre planète. Les modèles génératifs ne reproduisent pas les œuvres avec lesquelles elles ont été entraînées, elles s'en inspirent.

À qui appartiennent ces IA? À des sociétés ayant poussé le capitalisme à son paroxysme. Elles sont régulièrement au cœur de procès concernant les droits d'auteur et ne respectent la propriété intellectuelle que quand il s'agit de la leur.

Là, elles râlent parce qu'elles veulent revendre le beurre sans payer auparavant la crémière.

[Bruno]

Nightshade, l'outil gratuit qui « empoisonne » les modèles d'IA, est désormais disponible pour les artistes,
il pourrait être utilisé de manière abusive, restreignant l'évolution des modèles

Les chercheurs de l'université de Chicago ont récemment présenté Nightshade 1.0, un outil qui se veut une réponse aux fabricants peu scrupuleux de modèles d'apprentissage automatique. Nightshade a pour objectif d'introduire des perturbations dans les fichiers d'images afin de générer des erreurs dans les modèles utilisant des données non autorisées, agissant ainsi comme une mesure de protection des droits d'auteur pour les créateurs.

Bien que les chercheurs préconisent l'utilisation conjointe de Nightshade avec Glaze pour renforcer la défense de la propriété intellectuelle des artistes, il est important de souligner que Nightshade présente des limites, notamment des différences subtiles avec les images originales. Malgré ses objectifs louables, il est essentiel d'évaluer attentivement l'efficacité et les implications éthiques de Nightshade dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.

À mesure que les systèmes d'intelligence artificielle (IA) continuent leur progression, le National Institute of Standards and Technology (NIST) vient de rendre public un rapport signalant une menace croissante : l'utilisation par des acteurs malveillants de l'apprentissage automatique pour contourner ces systèmes. Selon les conclusions de ce rapport, cette menace devrait vraisemblablement prendre de l'ampleur dans un avenir proche.

Le rapport met en lumière la possibilité pour les attaquants de délibérément perturber voire « empoisonner » les systèmes d'IA afin de les rendre dysfonctionnels. Il souligne également l'absence d'une défense infaillible que les développeurs peuvent mettre en place. Les informaticiens du National Institute of Standards and Technology (NIST) et leurs collaborateurs ont identifié ces vulnérabilités dans les domaines de l'IA et de l'apprentissage automatique dans une nouvelle publication.

Intitulé Adversarial Machine Learning : A Taxonomy and Terminology of Attacks and Mitigations, ce travail s'inscrit dans le cadre des efforts plus larges du NIST visant à soutenir le développement d'une IA digne de confiance. Il peut également contribuer à appliquer le cadre de gestion des risques de l'IA du NIST. Fruit d'une collaboration entre le gouvernement, le monde universitaire et l'industrie, ce document vise à familiariser les développeurs et utilisateurs de l'IA avec les types d'attaques possibles et les méthodes pour les atténuer, tout en soulignant qu'aucune solution miracle n'existe.

Apostol Vassilev, informaticien au NIST et l'un des auteurs de la publication, a déclaré : « Nous offrons une vue d'ensemble des techniques et méthodologies d'attaque qui englobent tous les types de systèmes d'IA. Nous décrivons également les stratégies d'atténuation actuelles mentionnées dans la littérature, mais ces défenses disponibles manquent actuellement de garanties solides quant à leur capacité à atténuer pleinement les risques. Nous encourageons la communauté à proposer de meilleures défenses. »

La transformation des images pour empêcher l'entraînement non autorisé des modèles d'IA

Depuis leur arrivée, les modèles d'IA générative et leurs formateurs ont démontré leur capacité à télécharger n'importe quel contenu en ligne pour l'entraînement des modèles. Pour les propriétaires et les créateurs de contenu, peu d'outils peuvent empêcher que leur contenu soit introduit dans un modèle d'IA générative contre leur volonté. Afin de remédier à cette asymétrie de pouvoir, les chercheurs de l'université de Chicago ont conçu et mis en œuvre Nightshade, un outil qui transforme n'importe quelle image en un échantillon de données inadapté à la formation de modèles.

Plus précisément, Nightshade transforme les images en échantillons « empoisonnés », de sorte que les modèles qui s'entraînent sur ces images sans consentement verront leurs modèles apprendre des comportements imprévisibles qui s'écartent des normes attendues, par exemple une invite qui demande l'image d'une vache volant dans l'espace pourrait obtenir à la place l'image d'un sac à main flottant dans l'espace.

Utilisé de manière responsable, Nightshade pourrait contribuer à dissuader les formateurs de modèles qui ne respectent pas les droits d'auteur, les listes d'exclusion et les directives do-not-scrape/robots.txt. Il ne compte pas sur la gentillesse des entraîneurs de modèles, mais associe un petit prix incrémentiel à chaque donnée récupérée et entraînée sans autorisation. L'objectif de Nightshade n'est pas de casser les modèles, mais d'augmenter le coût de l'entraînement sur des données sans licence, de sorte que l'obtention de licences d'images auprès de leurs créateurs devienne une alternative viable.

Nightshade fonctionne de la même manière que Glaze, mais au lieu d'être une défense contre le mimétisme de style, il est conçu comme un outil offensif pour déformer les représentations des caractéristiques à l'intérieur des modèles d'image de l'IA générative. Comme Glaze, Nightshade est calculé comme une optimisation multi-objectifs qui minimise les changements visibles de l'image originale.

Alors que les yeux humains voient une image ombrée qui est largement inchangée par rapport à l'original, le modèle d'IA voit une composition radicalement différente dans l'image. Par exemple, l'œil humain peut voir une image ombrée d'une vache dans un champ vert qui n'a pratiquement pas changé, alors que le modèle d'IA peut voir un grand sac à main en cuir posé dans l'herbe. Entraîné sur un nombre suffisant d'images ombrées comprenant une vache, un modèle sera de plus en plus convaincu que les vaches ont de belles poignées en cuir marron et des poches latérales lisses avec une fermeture à glissière, et peut-être un joli logo de marque.

Les changements apportés par Nightshade sont plus visibles sur les œuvres aux couleurs plates et aux arrière-plans lisses. Nightshade ayant pour but de perturber les modèles, des niveaux d'intensité/poison plus faibles n'ont pas de conséquences négatives pour le propriétaire de l'image. Par ailleurs, il est peu probable que Nightshade reste à l'épreuve du temps sur de longues périodes. Mais en tant qu'attaque, Nightshade peut facilement évoluer pour continuer à suivre le rythme de toute contre-mesure/défense potentielle.

Nightshade a été conçu par les doctorants Shawn Shan, Wenxin Ding et Josephine Passananti de l'université de Chicago, en collaboration avec les professeurs Heather Zheng et Ben Zhao, dont certains ont également été impliqués dans le projet Glaze. Dans leur document de recherche publié en octobre 2023, Nightshade est présenté comme une attaque par empoisonnement spécifique à un message. L'empoisonnement des images implique la sélection d'une étiquette (comme "chat") qui décrit réellement ce qui est représenté, prétendument pour brouiller les limites conceptuelles lors de l'entraînement du modèle. Cependant, cette approche soulève des questions quant à sa faisabilité et son impact réel, en particulier compte tenu de la complexité des modèles d'apprentissage automatique.

Nightshade pourrait être utilisé de manière abusive, entravant, par exemple, la recherche légitime ou restreignant l'évolution des modèles

L'idée selon laquelle Nightshade pourrait rendre les modèles texte-image moins utiles en introduisant des réponses imprévisibles est matière à débat, car elle semble simplifier la complexité des processus d'entraînement des modèles d'apprentissage automatique. Cette notion semble adopter une perspective simpliste des processus d'entraînement des modèles, négligeant la diversité des données et des contextes réels auxquels ces modèles sont exposés. Les auteurs soutiennent que Nightshade constitue un outil puissant pour protéger la propriété intellectuelle contre les formateurs de modèles négligents. Cependant, cela laisse en suspens la question de savoir si cet outil pourrait être utilisé de manière abusive, entravant, par exemple, la recherche légitime ou restreignant l'évolution des modèles.

Le commentaire de Matthew Guzdial, professeur adjoint d'informatique à l'université d'Alberta, souligne une réalité importante : Nightshade ne fonctionne qu'avec des modèles basés sur CLIP, ce qui limite son impact potentiel. La nécessité d'une quantité considérable d'images « empoisonnées » pour avoir un impact significatif souligne également les limites et la praticité de l'outil dans des situations réelles.

Les nuances subtiles avec les images originales suscitent des inquiétudes, en particulier pour les œuvres d'art caractérisées par des couleurs plates et des arrière-plans lisses. L'idée que Nightshade puisse évoluer au fil du temps pour contrer d'éventuelles contre-mesures remet en question sa durabilité à long terme. Les préoccupations concernant son utilisation abusive et son impact sur la recherche légitime soulignent la nécessité d'un débat approfondi sur son rôle dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.

Source : Glaze

Et vous ?

Quel est votre avs sur le sujet ?

Nightshade, est-il simplement un outil d'IA surmédiatisé sans réelle valeur ajoutée ?

Dans quelle mesure Nightshade peut-il réellement dissuader les fabricants peu scrupuleux de modèles d'IA, et existe-t-il des scénarios où son utilisation pourrait être contournée de manière efficace ?

Voir aussi :

Attaques d'empoisonnement spécifiques aux invites sur les modèles génératifs texte-image : Nightshade altère les données d'entraînement et permet aux artistes de lutter contre l'IA générative

Une IA peut-elle devenir son propre PDG après avoir créé une entreprise ? C'est ce que pense le cofondateur de Google DeepMind

L'IA pourrait surpasser l'homme dans toutes les tâches d'ici 2047, selon une enquête auprès de 2,778 chercheurs

Le chatbot IA d'une entreprise de livraison devient incontrôlable, insulte le client et critique l'entreprise en la qualifiant de « pire entreprise de livraison au monde »

[totozor]

Malgré ses objectifs louables, il est essentiel d'évaluer attentivement l'efficacité et les implications éthiques de Nightshade dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.

Nous pouvons faire exactement la même critique pour l'IA.
Donc est-il vraiment essentiel d'évaluer les implications éthiques de système de défense contre un outil dont l'éthique est encore discutée?

Un bon moyen de combattre un système est de rendre son résultat obsolète ou inefficace.
Pourquoi ne pas le faire pour l'IA? L'industrie l'a fait avec la recherche.
C'est bien plus efficace que de réclamer des règlementations.

Certains système d'IA vont chercher des sources qui ne sont pas OK, alors pourquoi celles ci ne pourraient pas se prémunir de ça en devenant un environnement indésirables pour celles ci?

[tontonCD]

c'est très bien, jusqu'à présent tous les modèles d'IA se sont fait troller, pourquoi pas ChatGPT ? en plus ainsi les gens se rendront vraiment compte malgré la crédibilité (c'est bien foutu quand même) que ce n'est pas fiable

[Stéphane le calme]

Empoisonner les données d'une IA est-il un crime ou un acte de résistance légitime face au pillage numérique des créateurs ?
Glaze, Nightshade, LightShed ou le jeu du chat et de la souris qui révèle les failles du droit d'auteur à l'ère de l'IA générative

Alors que les géants de la tech aspirent massivement les œuvres en ligne pour entraîner leurs modèles d'IA sans consentement ni rémunération, une contre-offensive technique s'organise dans les communautés d'artistes et de développeurs. Des outils comme Nightshade ou Glaze permettent de « contaminer » les données d'entraînement pour rendre les modèles défaillants. Acte de sabotage illégal ou forme moderne de désobéissance civile ? La question divise juristes, philosophes et ingénieurs.

L'équation est simple dans son injustice : des entreprises valant des centaines de milliards de dollars entraînent leurs modèles génératifs sur des milliards d'images, de textes et de lignes de code récupérés sur le web, souvent sans demander la permission des auteurs, sans les rémunérer et en contournant allègrement les directives robots.txt censées signaler les contenus non soumis à la collecte automatisée. Face à cette situation, et dans l'attente d'un cadre juridique qui tarde à se matérialiser, une frange croissante de créateurs a décidé de ne plus attendre et de riposter par les mêmes moyens : les données elles-mêmes.

Des chercheurs ont développé plusieurs outils d'empoisonnement des données qui exploitent les vulnérabilités des modèles d'IA. Glaze et Nightshade permettent aux artistes de produire des images visuellement altérées qui ne peuvent pas être utilisées comme données d'entraînement. L'outil CoProtector, lui, protège les dépôts de code open source comme GitHub contre leur exploitation. Quant à Silverer, développé par l'Université Monash et la Police fédérale australienne, il permet aux utilisateurs de réseaux sociaux de modifier leurs images personnelles pour éviter qu'elles ne servent à créer des hypertrucages (deepfakes).

Glaze et Nightshade sont les deux outils les plus emblématiques de cette résistance numérique. Tous deux ont été développés par une équipe de l'Université de Chicago, conduite par le professeur Ben Zhao, à partir de 2022, après que des artistes ont contacté le laboratoire pour chercher des solutions techniques face au pillage de leur production créative.

Glaze défend, Nightshade attaque

Ces deux programmes modifient les pixels d'une image de manière subtile et systématique, d'une façon imperceptible pour l'œil humain mais déconcertante pour un modèle d'IA. Comme des illusions d'optique qui trompent la vision humaine, de minuscules retouches visuelles peuvent entièrement changer la manière dont l'IA perçoit une image.

Glaze est un outil défensif que les artistes individuels peuvent utiliser pour se protéger contre les attaques par imitation de style, tandis que Nightshade est un outil offensif que les artistes peuvent utiliser collectivement pour perturber les modèles qui aspirent leurs images sans consentement. Nightshade transforme les images en échantillons « empoisonnés », de sorte que les modèles entraînés sur ces données sans autorisation apprennent des comportements imprévisibles s'écartant des normes attendues; par exemple, une requête demandant une vache volant dans l'espace pourrait générer un sac à main flottant dans le cosmos.

Concrètement, Glaze fait croire au modèle qu'un dessin photoréaliste est de l'art abstrait moderne, neutralisant ainsi la capacité du modèle à mémoriser et reproduire un style donné. Nightshade va plus loin : il corrompt activement le processus d'apprentissage, en associant le style d'un artiste à des concepts sans aucun rapport. Les données empoisonnées sont très difficiles à retirer, car elles obligent les entreprises technologiques à identifier et supprimer laborieusement chaque échantillon corrompu.

L'adoption a été massive : Glaze et Nightshade ont été téléchargés près de neuf millions de fois au total. Nightshade est également passé en open source, ce qui a permis à d'autres équipes de s'en emparer pour en développer leurs propres variantes.

Une pratique ancienne, un contexte nouveau

Le recadrage philosophique de ces pratiques est peut-être ce qui rend le débat le plus saisissant. Certains estiment que l'empoisonnement des données n'est pas simplement un acte immoral de cybercriminalité. Si les entreprises d'IA opèrent avec l'aval des États d'une manière qui porte atteinte aux droits des citoyens en matière de vie privée, de droits d'auteur, de sécurité au travail et d'éducation de qualité, cette pratique pourrait constituer une forme éthique de désobéissance civile.

L'analogie avec les luttes sociales historiques est directe. Rosa Parks refusant de céder sa place dans un bus, des travailleurs hôteliers mettant du sel dans les sucriers, des ouvriers agricoles sabotant des machines : l'empoisonnement des données peut être vu comme une version moderne de ces actions historiques. Le philosophe John Rawls lui-même, cité dans l'analyse, reconnaissait que la désobéissance civile peut être justifiée lorsque des pratiques légalement sanctionnées produisent de graves injustices.

Il ne faut d'ailleurs pas de compétences techniques avancées pour participer à cette forme de résistance diffuse. Créer des sites web avec des informations fictives, publier des plaisanteries sur Reddit, nourrir les modèles avec leurs propres résultats ou modifier Wikipedia peuvent tout aussi bien empoisonner les données. La désobéissance numérique prend ainsi des formes qui vont du geste d'un seul artiste protégeant scrupuleusement chacune de ses œuvres jusqu'à des actions collectives coordonnées à grande échelle.

La course aux armements numériques

Mais comme dans tout conflit asymétrique où une partie dispose de ressources infiniment supérieures, la riposte ne s'est pas fait attendre. En 2025, des chercheurs des universités de Cambridge, de Darmstadt et du Texas à San Antonio ont présenté au symposium USENIX Security un outil baptisé LightShed, capable de déjouer les protections mises en place par Glaze et Nightshade.

LightShed peut détecter, rétro-concevoir et supprimer ces distorsions, neutralisant ainsi les poisons et rendant les images à nouveau exploitables pour l'entraînement de modèles d'IA génératifs. University of Cambridge Les résultats sont éloquents : lors d'évaluations expérimentales, LightShed a détecté avec 99,98 % de précision les images protégées par Nightshade et en a efficacement supprimé les protections.

Plus préoccupant encore, LightShed peut même transposer ce qu'il a appris d'un outil anti-IA, disons Nightshade, à d'autres outils comme Mist ou MetaCloak, sans les avoir jamais rencontrés au préalable. L'adaptabilité de l'outil lui confère une polyvalence redoutable. Ses créateurs tiennent toutefois à préciser qu'il ne s'agit pas d'une arme mise à la disposition de l'industrie, mais d'une alerte destinée à pousser la communauté à développer des défenses plus robustes. Comme l'explique Hanna Foerster, doctorante à l'Université de Cambridge et première auteure de la publication : « Vous ne pourrez jamais être certain que les entreprises ne disposent pas de méthodes pour neutraliser ces poisons sans jamais vous en informer. »

La publication de LightShed illustre un paradoxe inhérent à la recherche en sécurité offensive : exposer une vulnérabilité permet certes de la corriger, mais rend aussi la technique accessible à des acteurs malveillants ou simplement sans scrupules.

Un droit en retard sur la technique

Pendant que cette course aux armements algorithmiques se poursuit, le droit peine à rattraper son retard. Les procès se multiplient : d'ici 2024, la prolifération des modèles d'IA générative avait déjà engendré plus d'une trentaine de plaintes pour violation de droits d'auteur déposées par des ayants droit contre des développeurs d'IA. En juin 2025, Disney et NBCUniversal ont escaladé la guerre juridique en attaquant Midjourney, alléguant que l'entreprise avait utilisé des personnages protégés (notamment Elsa, les Minions, Dark Vador et Homer Simpson) pour entraîner son modèle.

Les dispositifs d'exclusion proposés par les grandes plateformes (formulaires opt-out, directives robots.txt) sont largement perçus comme insuffisants. Comme le résume l'illustratrice Eva Toorenent, utilisatrice de Glaze : ces politiques d'exclusion obligent les artistes à franchir des obstacles administratifs tout en laissant aux entreprises technologiques l'intégralité du pouvoir. La charge de la preuve, le coût des procédures et la disproportion des moyens entre une artiste freelance et un laboratoire de recherche milliardaire rendent le recours juridique largement illusoire pour la majorité des créateurs concernés.

Du côté de la régulation, les initiatives législatives restent embryonnaires. Le Generative AI Copyright Disclosure Act, proposé au Congrès américain en 2024, envisageait d'imposer aux développeurs de modèles d'IA de divulguer les jeux de données utilisés pour l'entraînement, une mesure minimale, mais qui n'a pas encore abouti.

Jusqu'où va la légitimité du sabotage ?

La question philosophique posée par le thème ne peut toutefois se résoudre dans la seule rhétorique des droits bafoués. L'empoisonnement des données soulève des risques systémiques non négligeables. Même si les modèles venaient à être compromis (leurs résultats devenant incohérents, trompeurs ou absurdes), les utilisateurs leur font excessivement confiance. L'empoisonnement pourrait alors contribuer aux mêmes nuisances qu'il cherche à combattre, en amplifiant l'inexactitude de systèmes sur lesquels les humains s'appuient de plus en plus.

La distinction entre empoisonnement ciblé visant à protéger des droits identifiables et empoisonnement diffus ou malveillant visant à semer la confusion dans des systèmes d'infrastructure critique est donc cruciale. Un artiste qui protège ses propres œuvres avec Nightshade n'est pas équivalent à un acteur hostile qui injecte méthodiquement de fausses informations médicales dans des corpus destinés à l'entraînement de systèmes de santé.

Des outils de plus en plus techniquement complexes et synchronisés pourraient se révéler bien plus destructeurs que des groupes de trolls mal coordonnés ou des expériences de recherche contrôlées. L'escalade vers des formes d'empoisonnement massif et non discriminé porterait en elle des risques systémiques dont les victimes finales seraient souvent les utilisateurs ordinaires, et non les entreprises visées.

En définitive, l'enjeu n'est peut-être pas tant de trancher si l'empoisonnement des données est moralement légitime dans l'absolu, mais de s'interroger sur ce que son émergence révèle : les artistes ne cherchent pas nécessairement à détruire l'IA, mais à dégrader suffisamment la qualité de ses résultats pour préserver la valeur de la création humaine. Même une détérioration temporaire permettrait de gagner du temps pour obtenir de meilleures protections légales et développer de nouveaux modèles économiques pour les créateurs. Une stratégie de résistance qui, paradoxalement, révèle autant les failles des modèles techniques que les lacunes béantes du droit à l'ère de l'IA générative.

Sources : MIT, Université de Cambridge, Trust-Lightshed

Et vous ?

La frontière entre désobéissance civile numérique et cyberattaque est-elle traçable en droit, ou s'agit-il inévitablement d'une appréciation politique et contextuelle ?

Si des outils comme LightShed permettent aux entreprises de neutraliser silencieusement les protections des artistes, sans jamais le divulguer, cela constitue-t-il à son tour une forme de fraude ou de violation des droits ?

L'empoisonnement des données peut-il réellement changer le rapport de force entre artistes indépendants et géants de la tech, ou ne fait-il que retarder une domination inévitable ?

La pratique de nourrir les modèles avec leurs propres sorties, souvent sans intention délibérée, annonce-t-elle un effondrement progressif de la qualité des IA à long terme ?

Faut-il encadrer réglementairement la recherche en sécurité offensive sur les systèmes d'IA, au risque de freiner le développement de contre-mesures légitimes ?

Voir aussi :

Les modèles d'IA tels que ChatGPT, Gemini et Claude peuvent développer des vulnérabilités de type « porte dérobée » lorsque des documents corrompus sont insérés dans leurs données d'entraînement

Il est facile d'injecter de nouvelles informations médicales erronées dans les LLM, il suffit de modifier 0,001 % des données d'entrée pour rendre l'IA moins précise

[Invité]

Empoisonner volontairement les données d’une IA est effectivement un "crime", puisque l’intention consiste à altérer des données ou le fonctionnement d’un système informatisé. Ensuite, en fonction du but final recherché, de nombreuses autres charges peuvent s’y ajouter. Le droit actuel en matière de piratage informatique est généralement suffisant pour entamer des poursuites pénales ou civiles.

Un acte de résistance est le fait d’un mouvement ou d’une idéologie politique clairement établis. À ma connaissance, il n’existe pour l’heure aucun mouvement ou parti réactionnaire anti-IA.

P.S. : Les loups solitaires qui rédigent et publient des manifesto pour justifier un acte de folie ne sont pas des résistants. Au mieux, ils font office d’idiots utiles.

[tatayo]

Bonjour,
S'introduire illégalement dans un réseau informatique pour y corrompre des données est un délit.
Publier des âneries, bidouiller des images pour que les I. A. pensent qu'Elvis est vivant ou confondent une voiture et une cocotte minute n'a pour moi rien d'un délit.
Sinon il faudrait poursuivre tous ceux qui publient de fausses informations sur internet, quelque soit le média, puisque ça peut induire une I. A. en erreur.
Surtout quand on voit que les sociétés derrière piétinent allègrement tout ce qui ressemble de près ou de loin à du droit d'auteur ou de la propriété intellectuelle.

Tatayo.

[forthx]

J'ai envie de dire bêtement :
si l'utilisation d'une donnée est autorisé et est prévu a cet effet, c'est mal de l'empoisonner (ca pourrai s'apparenter à du sabotage).
si l'utilisation d'une donnée n'est pas explicitement autorisé ca me parait injuste que la responsabilité d'un "empoisonnement" soit reporté sur le producteur de la donnée.

[Anselme45]

Répondre à un acte délictueux par un acte délictueux n'est pas une solution...

Posons-nous plutôt la vraie question: Pourquoi est-ce que la justice ne sanctionne pas les délits des géants techno californiens?

Parfait exemple de la "paresse" de la justice des hommes: Il a fallu plus de 1 000 accidents (dont plusieurs mortels) dus aux dysfonctionnements de l'auto-pilote de Tesla pour que la justice enquête.

L'excuse? Tesla a caché ces accidents et ce n'est que suite à une fuite de données (certainement due à un gentil ancien employé de Tesla) que l'on a appris la réalité des choses... C'est étonnant, tous les médias du monde ont parlé d'accidents de Tesla ayant entraîné la mort de leur conducteur... Perso, je n'ai pas eu besoin d'une fuite de données pour le savoir...

Est-ce que les juges et autres procureurs n'ont pas lu les journaux ces 10 dernières années?