Discussion :

[Jade Emy]

Attaques d'empoisonnement spécifiques aux invites sur les modèles génératifs texte-image : Nightshade altère les données d'entraînement et permet aux artistes de lutter contre l'IA générative.

Un nouvel outil permet aux artistes d'ajouter des modifications invisibles aux pixels de leurs œuvres avant de les mettre en ligne, de sorte que si elles sont intégrées dans un ensemble d'entraînement à l'IA, le modèle qui en résulte peut se briser de manière chaotique et imprévisible. L'outil, appelé Nightshade, est conçu comme un moyen de lutter contre les entreprises d'IA qui utilisent les œuvres d'artistes pour entraîner leurs modèles sans l'autorisation du créateur.

L'utilisation de cet outil pour "empoisonner" ces données d'entraînement pourrait endommager les futures itérations des modèles d'IA générateurs d'images, tels que DALL-E, Midjourney et Stable Diffusion, en rendant certains de leurs résultats inutiles : les chiens deviennent des chats, les voitures des vaches, et ainsi de suite.

Les sociétés d'IA telles que OpenAI, Meta, Google et Stability AI sont confrontées à une série de poursuites de la part d'artistes qui affirment que leurs œuvres protégées par le droit d'auteur et leurs informations personnelles ont été récupérées sans consentement ni compensation. Ben Zhao, professeur à l'université de Chicago, qui a dirigé l'équipe à l'origine de la création de Nightshade, espère que cette solution contribuera à faire pencher la balance des entreprises d'IA vers les artistes, en créant un puissant moyen de dissuasion contre le non-respect des droits d'auteur et de la propriété intellectuelle des artistes.

L'équipe de Zhao a également mis au point Glaze, un outil qui permet aux artistes de "masquer" leur style personnel pour éviter qu'il ne soit récupéré par les entreprises d'IA. Cet outil fonctionne de la même manière que Nightshade : il modifie les pixels des images de manière subtile, invisible à l'œil humain, mais manipule les modèles d'apprentissage automatique pour qu'ils interprètent l'image comme quelque chose de différent de ce qu'elle montre en réalité. L'équipe a l'intention d'intégrer Nightshade dans Glaze, et les artistes peuvent choisir d'utiliser ou non l'outil d'empoisonnement des données. L'équipe envisage également de rendre Nightshade open source, ce qui permettrait à d'autres de le bricoler et de créer leurs propres versions. Plus les gens l'utiliseront et créeront leurs propres versions, plus l'outil deviendra puissant, explique Zhao. Les ensembles de données pour les grands modèles d'IA peuvent être constitués de milliards d'images, donc plus il y a d'images empoisonnées qui peuvent être introduites dans le modèle, plus la technique causera de dégâts.

Nightshade exploite une faille de sécurité dans les modèles génératifs d'IA, qui découle du fait qu'ils sont entraînés sur de grandes quantités de données : dans ce cas, des images qui ont été récupérées sur l'internet. Nightshade s'attaque à ces images. Les artistes qui souhaitent mettre leurs œuvres en ligne, mais ne veulent pas que leurs images soient récupérées par des sociétés d'intelligence artificielle peuvent les télécharger sur Glaze et choisir de les masquer avec un style artistique différent du leur. Ils peuvent également choisir d'utiliser Nightshade. Lorsque les développeurs d'IA fouillent l'internet pour obtenir davantage de données afin d'améliorer un modèle d'IA existant ou d'en créer un nouveau, ces échantillons empoisonnés se frayent un chemin dans l'ensemble des données du modèle et provoquent un dysfonctionnement de celui-ci. Les échantillons de données empoisonnées peuvent manipuler les modèles pour qu'ils apprennent, par exemple, que les images de chapeaux sont des gâteaux et que les images de sacs à main sont des grille-pain. Les données empoisonnées sont très difficiles à supprimer, car il faut que les entreprises technologiques trouvent et suppriment minutieusement chaque échantillon corrompu.

Nightshade va faire réfléchir les entreprises d'IA à deux fois, "parce qu'elles ont la possibilité de détruire tout leur modèle en prenant notre travail sans notre consentement", déclare Eva Toorenent, une illustratrice et artiste qui a utilisé Glaze. "Je suis vraiment reconnaissante que nous disposions d'un outil qui peut aider à rendre le pouvoir aux artistes pour leur propre travail", ajoute Autumn Beverly, une autre artiste.

Les attaques par empoisonnement des données manipulent les données d'apprentissage pour introduire des comportements inattendus dans les modèles d'apprentissage automatique au moment de l'apprentissage. Pour les modèles génératifs texte-image avec des ensembles de données d'apprentissage massifs, la compréhension actuelle des attaques par empoisonnement suggère qu'une attaque réussie nécessiterait l'injection de millions d'échantillons empoisonnés dans leur pipeline d'apprentissage. Dans cet article, nous montrons que les attaques par empoisonnement peuvent réussir sur les modèles génératifs. Nous observons que les données d'entraînement par concept peuvent être assez limitées dans ces modèles, ce qui les rend vulnérables aux attaques d'empoisonnement spécifiques aux invites, qui ciblent la capacité d'un modèle à répondre à des invites individuelles.

Nous présentons Nightshade, une attaque d'empoisonnement optimisée et spécifique à l'invite, dans laquelle les échantillons d'empoisonnement sont visuellement identiques à des images bénignes avec des invites textuelles correspondantes. Les échantillons de poison Nightshade sont également optimisés pour leur puissance et peuvent corrompre une invite Stable Diffusion SDXL en <100 échantillons de poison. Les effets du poison Nightshade s'étendent aux concepts connexes, et plusieurs attaques peuvent être composées ensemble dans un seul message-guide. De manière surprenante, nous montrons qu'un nombre modéré d'attaques Nightshade peut déstabiliser les caractéristiques générales d'un modèle génératif texte-image, rendant ainsi inopérante sa capacité à générer des images significatives. Enfin, nous proposons l'utilisation de Nightshade` et d'outils similaires comme dernière défense pour les créateurs de contenu contre les racleurs de sites web qui ignorent les directives d'exclusion/de non-crawl, et nous discutons des implications possibles pour les formateurs de modèles et les créateurs de contenu.

Source : Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models

Et vous ?

Quel est votre avis sur ce nouvel outil Nightshade ?
Pensez-vous que cet outil est une solution durable les auteurs contre l'IA ?

Voir aussi :

Google défendra les utilisateurs de l'IA générative contre les plaintes pour violation du droit d'auteur, cette indemnisation comprend les données d'entrainement d'IA et les résultats générés

La "distillation pas-à-pas", un nouveau paradigme d'apprentissage pour surpasser les performances des grands LLM, avec moins de données d'entraînement et des modèles d'IA de plus petite taille

Des milliers d'auteurs s'opposent à l'exploitation de leur travail sans permission ni rémunération par l'IA générative, certains ont déjà intenté des actions en justice contre OpenAI

[ab1___]

C'est du terrorisme. Les auteurs de cet algorithme ont une volonté de nuire et de détruire le travail des autres. La propriété intellectuelle est une notion égocentrique qu'ul faudrait éradiquer: c'est l'une des bases du capitalisme destructeur de notre planète. Les modèles génératifs ne reproduisent pas les œuvres avec lesquelles elles ont été entraînées, elles s'en inspirent.

[ciola]

Quelle est la différence entre une IA fonctionnant par apprentissage basé sur le travail des humains et un artiste influencé par ses congénères?

[archqt]

Certes elles ne volent pas les œuvres, mais s'en inspirent tellement que le pauvre graphiste ne sera pas embauché bien longtemps. Tout travail mérite salaire. Il est clair que ce métier devra évoluer un peu, faire un premier jet par IA, et ensuite finir la boulot, plutôt que faire tout de A à Z...

[ab1___]

This is MAD: Model Autophagy Disease
https://youtu.be/PsHhqxwPqps?si=MUWTMQLysOQ2di-t

L'empoisonnement des données est le plus grand facteur de risque au niveau de l'AI et ceux qui le font consciemment mettent l'humanité en danger.

[kain_tn]

C'est du terrorisme. Les auteurs de cet algorithme ont une volonté de nuire et de détruire le travail des autres. La propriété intellectuelle est une notion égocentrique qu'ul faudrait éradiquer: c'est l'une des bases du capitalisme destructeur de notre planète. Les modèles génératifs ne reproduisent pas les œuvres avec lesquelles elles ont été entraînées, elles s'en inspirent.

À qui appartiennent ces IA? À des sociétés ayant poussé le capitalisme à son paroxysme. Elles sont régulièrement au cœur de procès concernant les droits d'auteur et ne respectent la propriété intellectuelle que quand il s'agit de la leur.

Là, elles râlent parce qu'elles veulent revendre le beurre sans payer auparavant la crémière.

[Bruno]

Nightshade, l'outil gratuit qui « empoisonne » les modèles d'IA, est désormais disponible pour les artistes,
il pourrait être utilisé de manière abusive, restreignant l'évolution des modèles

Les chercheurs de l'université de Chicago ont récemment présenté Nightshade 1.0, un outil qui se veut une réponse aux fabricants peu scrupuleux de modèles d'apprentissage automatique. Nightshade a pour objectif d'introduire des perturbations dans les fichiers d'images afin de générer des erreurs dans les modèles utilisant des données non autorisées, agissant ainsi comme une mesure de protection des droits d'auteur pour les créateurs.

Bien que les chercheurs préconisent l'utilisation conjointe de Nightshade avec Glaze pour renforcer la défense de la propriété intellectuelle des artistes, il est important de souligner que Nightshade présente des limites, notamment des différences subtiles avec les images originales. Malgré ses objectifs louables, il est essentiel d'évaluer attentivement l'efficacité et les implications éthiques de Nightshade dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.

À mesure que les systèmes d'intelligence artificielle (IA) continuent leur progression, le National Institute of Standards and Technology (NIST) vient de rendre public un rapport signalant une menace croissante : l'utilisation par des acteurs malveillants de l'apprentissage automatique pour contourner ces systèmes. Selon les conclusions de ce rapport, cette menace devrait vraisemblablement prendre de l'ampleur dans un avenir proche.

Le rapport met en lumière la possibilité pour les attaquants de délibérément perturber voire « empoisonner » les systèmes d'IA afin de les rendre dysfonctionnels. Il souligne également l'absence d'une défense infaillible que les développeurs peuvent mettre en place. Les informaticiens du National Institute of Standards and Technology (NIST) et leurs collaborateurs ont identifié ces vulnérabilités dans les domaines de l'IA et de l'apprentissage automatique dans une nouvelle publication.

Intitulé Adversarial Machine Learning : A Taxonomy and Terminology of Attacks and Mitigations, ce travail s'inscrit dans le cadre des efforts plus larges du NIST visant à soutenir le développement d'une IA digne de confiance. Il peut également contribuer à appliquer le cadre de gestion des risques de l'IA du NIST. Fruit d'une collaboration entre le gouvernement, le monde universitaire et l'industrie, ce document vise à familiariser les développeurs et utilisateurs de l'IA avec les types d'attaques possibles et les méthodes pour les atténuer, tout en soulignant qu'aucune solution miracle n'existe.

Apostol Vassilev, informaticien au NIST et l'un des auteurs de la publication, a déclaré : « Nous offrons une vue d'ensemble des techniques et méthodologies d'attaque qui englobent tous les types de systèmes d'IA. Nous décrivons également les stratégies d'atténuation actuelles mentionnées dans la littérature, mais ces défenses disponibles manquent actuellement de garanties solides quant à leur capacité à atténuer pleinement les risques. Nous encourageons la communauté à proposer de meilleures défenses. »

La transformation des images pour empêcher l'entraînement non autorisé des modèles d'IA

Depuis leur arrivée, les modèles d'IA générative et leurs formateurs ont démontré leur capacité à télécharger n'importe quel contenu en ligne pour l'entraînement des modèles. Pour les propriétaires et les créateurs de contenu, peu d'outils peuvent empêcher que leur contenu soit introduit dans un modèle d'IA générative contre leur volonté. Afin de remédier à cette asymétrie de pouvoir, les chercheurs de l'université de Chicago ont conçu et mis en œuvre Nightshade, un outil qui transforme n'importe quelle image en un échantillon de données inadapté à la formation de modèles.

Plus précisément, Nightshade transforme les images en échantillons « empoisonnés », de sorte que les modèles qui s'entraînent sur ces images sans consentement verront leurs modèles apprendre des comportements imprévisibles qui s'écartent des normes attendues, par exemple une invite qui demande l'image d'une vache volant dans l'espace pourrait obtenir à la place l'image d'un sac à main flottant dans l'espace.

Utilisé de manière responsable, Nightshade pourrait contribuer à dissuader les formateurs de modèles qui ne respectent pas les droits d'auteur, les listes d'exclusion et les directives do-not-scrape/robots.txt. Il ne compte pas sur la gentillesse des entraîneurs de modèles, mais associe un petit prix incrémentiel à chaque donnée récupérée et entraînée sans autorisation. L'objectif de Nightshade n'est pas de casser les modèles, mais d'augmenter le coût de l'entraînement sur des données sans licence, de sorte que l'obtention de licences d'images auprès de leurs créateurs devienne une alternative viable.

Nightshade fonctionne de la même manière que Glaze, mais au lieu d'être une défense contre le mimétisme de style, il est conçu comme un outil offensif pour déformer les représentations des caractéristiques à l'intérieur des modèles d'image de l'IA générative. Comme Glaze, Nightshade est calculé comme une optimisation multi-objectifs qui minimise les changements visibles de l'image originale.

Alors que les yeux humains voient une image ombrée qui est largement inchangée par rapport à l'original, le modèle d'IA voit une composition radicalement différente dans l'image. Par exemple, l'œil humain peut voir une image ombrée d'une vache dans un champ vert qui n'a pratiquement pas changé, alors que le modèle d'IA peut voir un grand sac à main en cuir posé dans l'herbe. Entraîné sur un nombre suffisant d'images ombrées comprenant une vache, un modèle sera de plus en plus convaincu que les vaches ont de belles poignées en cuir marron et des poches latérales lisses avec une fermeture à glissière, et peut-être un joli logo de marque.

Les changements apportés par Nightshade sont plus visibles sur les œuvres aux couleurs plates et aux arrière-plans lisses. Nightshade ayant pour but de perturber les modèles, des niveaux d'intensité/poison plus faibles n'ont pas de conséquences négatives pour le propriétaire de l'image. Par ailleurs, il est peu probable que Nightshade reste à l'épreuve du temps sur de longues périodes. Mais en tant qu'attaque, Nightshade peut facilement évoluer pour continuer à suivre le rythme de toute contre-mesure/défense potentielle.

Nightshade a été conçu par les doctorants Shawn Shan, Wenxin Ding et Josephine Passananti de l'université de Chicago, en collaboration avec les professeurs Heather Zheng et Ben Zhao, dont certains ont également été impliqués dans le projet Glaze. Dans leur document de recherche publié en octobre 2023, Nightshade est présenté comme une attaque par empoisonnement spécifique à un message. L'empoisonnement des images implique la sélection d'une étiquette (comme "chat") qui décrit réellement ce qui est représenté, prétendument pour brouiller les limites conceptuelles lors de l'entraînement du modèle. Cependant, cette approche soulève des questions quant à sa faisabilité et son impact réel, en particulier compte tenu de la complexité des modèles d'apprentissage automatique.

Nightshade pourrait être utilisé de manière abusive, entravant, par exemple, la recherche légitime ou restreignant l'évolution des modèles

L'idée selon laquelle Nightshade pourrait rendre les modèles texte-image moins utiles en introduisant des réponses imprévisibles est matière à débat, car elle semble simplifier la complexité des processus d'entraînement des modèles d'apprentissage automatique. Cette notion semble adopter une perspective simpliste des processus d'entraînement des modèles, négligeant la diversité des données et des contextes réels auxquels ces modèles sont exposés. Les auteurs soutiennent que Nightshade constitue un outil puissant pour protéger la propriété intellectuelle contre les formateurs de modèles négligents. Cependant, cela laisse en suspens la question de savoir si cet outil pourrait être utilisé de manière abusive, entravant, par exemple, la recherche légitime ou restreignant l'évolution des modèles.

Le commentaire de Matthew Guzdial, professeur adjoint d'informatique à l'université d'Alberta, souligne une réalité importante : Nightshade ne fonctionne qu'avec des modèles basés sur CLIP, ce qui limite son impact potentiel. La nécessité d'une quantité considérable d'images « empoisonnées » pour avoir un impact significatif souligne également les limites et la praticité de l'outil dans des situations réelles.

Les nuances subtiles avec les images originales suscitent des inquiétudes, en particulier pour les œuvres d'art caractérisées par des couleurs plates et des arrière-plans lisses. L'idée que Nightshade puisse évoluer au fil du temps pour contrer d'éventuelles contre-mesures remet en question sa durabilité à long terme. Les préoccupations concernant son utilisation abusive et son impact sur la recherche légitime soulignent la nécessité d'un débat approfondi sur son rôle dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.

Source : Glaze

Et vous ?

Quel est votre avs sur le sujet ?

Nightshade, est-il simplement un outil d'IA surmédiatisé sans réelle valeur ajoutée ?

Dans quelle mesure Nightshade peut-il réellement dissuader les fabricants peu scrupuleux de modèles d'IA, et existe-t-il des scénarios où son utilisation pourrait être contournée de manière efficace ?

Voir aussi :

Attaques d'empoisonnement spécifiques aux invites sur les modèles génératifs texte-image : Nightshade altère les données d'entraînement et permet aux artistes de lutter contre l'IA générative

Une IA peut-elle devenir son propre PDG après avoir créé une entreprise ? C'est ce que pense le cofondateur de Google DeepMind

L'IA pourrait surpasser l'homme dans toutes les tâches d'ici 2047, selon une enquête auprès de 2,778 chercheurs

Le chatbot IA d'une entreprise de livraison devient incontrôlable, insulte le client et critique l'entreprise en la qualifiant de « pire entreprise de livraison au monde »

[totozor]

Malgré ses objectifs louables, il est essentiel d'évaluer attentivement l'efficacité et les implications éthiques de Nightshade dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.

Nous pouvons faire exactement la même critique pour l'IA.
Donc est-il vraiment essentiel d'évaluer les implications éthiques de système de défense contre un outil dont l'éthique est encore discutée?

Un bon moyen de combattre un système est de rendre son résultat obsolète ou inefficace.
Pourquoi ne pas le faire pour l'IA? L'industrie l'a fait avec la recherche.
C'est bien plus efficace que de réclamer des règlementations.

Certains système d'IA vont chercher des sources qui ne sont pas OK, alors pourquoi celles ci ne pourraient pas se prémunir de ça en devenant un environnement indésirables pour celles ci?

[tontonCD]

c'est très bien, jusqu'à présent tous les modèles d'IA se sont fait troller, pourquoi pas ChatGPT ? en plus ainsi les gens se rendront vraiment compte malgré la crédibilité (c'est bien foutu quand même) que ce n'est pas fiable