IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Nightshade, l'outil gratuit qui « empoisonne » les modèles d'IA, est désormais disponible pour les artistes


Sujet :

Intelligence artificielle

  1. #1
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    1 555
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 1 555
    Points : 108 920
    Points
    108 920
    Par défaut Nightshade, l'outil gratuit qui « empoisonne » les modèles d'IA, est désormais disponible pour les artistes
    Attaques d'empoisonnement spécifiques aux invites sur les modèles génératifs texte-image : Nightshade altère les données d'entraînement et permet aux artistes de lutter contre l'IA générative.

    Un nouvel outil permet aux artistes d'ajouter des modifications invisibles aux pixels de leurs œuvres avant de les mettre en ligne, de sorte que si elles sont intégrées dans un ensemble d'entraînement à l'IA, le modèle qui en résulte peut se briser de manière chaotique et imprévisible. L'outil, appelé Nightshade, est conçu comme un moyen de lutter contre les entreprises d'IA qui utilisent les œuvres d'artistes pour entraîner leurs modèles sans l'autorisation du créateur.

    L'utilisation de cet outil pour "empoisonner" ces données d'entraînement pourrait endommager les futures itérations des modèles d'IA générateurs d'images, tels que DALL-E, Midjourney et Stable Diffusion, en rendant certains de leurs résultats inutiles : les chiens deviennent des chats, les voitures des vaches, et ainsi de suite.

    Les sociétés d'IA telles que OpenAI, Meta, Google et Stability AI sont confrontées à une série de poursuites de la part d'artistes qui affirment que leurs œuvres protégées par le droit d'auteur et leurs informations personnelles ont été récupérées sans consentement ni compensation. Ben Zhao, professeur à l'université de Chicago, qui a dirigé l'équipe à l'origine de la création de Nightshade, espère que cette solution contribuera à faire pencher la balance des entreprises d'IA vers les artistes, en créant un puissant moyen de dissuasion contre le non-respect des droits d'auteur et de la propriété intellectuelle des artistes.

    Nom : 1.png
Affichages : 2683
Taille : 42,7 Ko

    L'équipe de Zhao a également mis au point Glaze, un outil qui permet aux artistes de "masquer" leur style personnel pour éviter qu'il ne soit récupéré par les entreprises d'IA. Cet outil fonctionne de la même manière que Nightshade : il modifie les pixels des images de manière subtile, invisible à l'œil humain, mais manipule les modèles d'apprentissage automatique pour qu'ils interprètent l'image comme quelque chose de différent de ce qu'elle montre en réalité. L'équipe a l'intention d'intégrer Nightshade dans Glaze, et les artistes peuvent choisir d'utiliser ou non l'outil d'empoisonnement des données. L'équipe envisage également de rendre Nightshade open source, ce qui permettrait à d'autres de le bricoler et de créer leurs propres versions. Plus les gens l'utiliseront et créeront leurs propres versions, plus l'outil deviendra puissant, explique Zhao. Les ensembles de données pour les grands modèles d'IA peuvent être constitués de milliards d'images, donc plus il y a d'images empoisonnées qui peuvent être introduites dans le modèle, plus la technique causera de dégâts.

    Nightshade exploite une faille de sécurité dans les modèles génératifs d'IA, qui découle du fait qu'ils sont entraînés sur de grandes quantités de données : dans ce cas, des images qui ont été récupérées sur l'internet. Nightshade s'attaque à ces images. Les artistes qui souhaitent mettre leurs œuvres en ligne, mais ne veulent pas que leurs images soient récupérées par des sociétés d'intelligence artificielle peuvent les télécharger sur Glaze et choisir de les masquer avec un style artistique différent du leur. Ils peuvent également choisir d'utiliser Nightshade. Lorsque les développeurs d'IA fouillent l'internet pour obtenir davantage de données afin d'améliorer un modèle d'IA existant ou d'en créer un nouveau, ces échantillons empoisonnés se frayent un chemin dans l'ensemble des données du modèle et provoquent un dysfonctionnement de celui-ci. Les échantillons de données empoisonnées peuvent manipuler les modèles pour qu'ils apprennent, par exemple, que les images de chapeaux sont des gâteaux et que les images de sacs à main sont des grille-pain. Les données empoisonnées sont très difficiles à supprimer, car il faut que les entreprises technologiques trouvent et suppriment minutieusement chaque échantillon corrompu.

    Nightshade va faire réfléchir les entreprises d'IA à deux fois, "parce qu'elles ont la possibilité de détruire tout leur modèle en prenant notre travail sans notre consentement", déclare Eva Toorenent, une illustratrice et artiste qui a utilisé Glaze. "Je suis vraiment reconnaissante que nous disposions d'un outil qui peut aider à rendre le pouvoir aux artistes pour leur propre travail", ajoute Autumn Beverly, une autre artiste.

    Nom : 2.PNG
Affichages : 1501
Taille : 652,9 Ko

    Les attaques par empoisonnement des données manipulent les données d'apprentissage pour introduire des comportements inattendus dans les modèles d'apprentissage automatique au moment de l'apprentissage. Pour les modèles génératifs texte-image avec des ensembles de données d'apprentissage massifs, la compréhension actuelle des attaques par empoisonnement suggère qu'une attaque réussie nécessiterait l'injection de millions d'échantillons empoisonnés dans leur pipeline d'apprentissage. Dans cet article, nous montrons que les attaques par empoisonnement peuvent réussir sur les modèles génératifs. Nous observons que les données d'entraînement par concept peuvent être assez limitées dans ces modèles, ce qui les rend vulnérables aux attaques d'empoisonnement spécifiques aux invites, qui ciblent la capacité d'un modèle à répondre à des invites individuelles.

    Nous présentons Nightshade, une attaque d'empoisonnement optimisée et spécifique à l'invite, dans laquelle les échantillons d'empoisonnement sont visuellement identiques à des images bénignes avec des invites textuelles correspondantes. Les échantillons de poison Nightshade sont également optimisés pour leur puissance et peuvent corrompre une invite Stable Diffusion SDXL en <100 échantillons de poison. Les effets du poison Nightshade s'étendent aux concepts connexes, et plusieurs attaques peuvent être composées ensemble dans un seul message-guide. De manière surprenante, nous montrons qu'un nombre modéré d'attaques Nightshade peut déstabiliser les caractéristiques générales d'un modèle génératif texte-image, rendant ainsi inopérante sa capacité à générer des images significatives. Enfin, nous proposons l'utilisation de Nightshade` et d'outils similaires comme dernière défense pour les créateurs de contenu contre les racleurs de sites web qui ignorent les directives d'exclusion/de non-crawl, et nous discutons des implications possibles pour les formateurs de modèles et les créateurs de contenu.
    Source : Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models

    Et vous ?

    Quel est votre avis sur ce nouvel outil Nightshade ?
    Pensez-vous que cet outil est une solution durable les auteurs contre l'IA ?

    Voir aussi :

    Google défendra les utilisateurs de l'IA générative contre les plaintes pour violation du droit d'auteur, cette indemnisation comprend les données d'entrainement d'IA et les résultats générés

    La "distillation pas-à-pas", un nouveau paradigme d'apprentissage pour surpasser les performances des grands LLM, avec moins de données d'entraînement et des modèles d'IA de plus petite taille

    Des milliers d'auteurs s'opposent à l'exploitation de leur travail sans permission ni rémunération par l'IA générative, certains ont déjà intenté des actions en justice contre OpenAI

  2. #2
    Membre du Club
    Profil pro
    Inscrit en
    Août 2009
    Messages
    11
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Août 2009
    Messages : 11
    Points : 54
    Points
    54
    Par défaut
    C'est du terrorisme. Les auteurs de cet algorithme ont une volonté de nuire et de détruire le travail des autres. La propriété intellectuelle est une notion égocentrique qu'ul faudrait éradiquer: c'est l'une des bases du capitalisme destructeur de notre planète. Les modèles génératifs ne reproduisent pas les œuvres avec lesquelles elles ont été entraînées, elles s'en inspirent.

  3. #3
    Membre du Club
    Profil pro
    Inscrit en
    Mars 2012
    Messages
    22
    Détails du profil
    Informations personnelles :
    Localisation : Belgique

    Informations forums :
    Inscription : Mars 2012
    Messages : 22
    Points : 69
    Points
    69
    Par défaut
    Quelle est la différence entre une IA fonctionnant par apprentissage basé sur le travail des humains et un artiste influencé par ses congénères?

  4. #4
    Membre émérite
    Profil pro
    retraité
    Inscrit en
    Décembre 2010
    Messages
    831
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : Décembre 2010
    Messages : 831
    Points : 2 389
    Points
    2 389
    Par défaut
    Certes elles ne volent pas les œuvres, mais s'en inspirent tellement que le pauvre graphiste ne sera pas embauché bien longtemps. Tout travail mérite salaire. Il est clair que ce métier devra évoluer un peu, faire un premier jet par IA, et ensuite finir la boulot, plutôt que faire tout de A à Z...

  5. #5
    Membre du Club
    Profil pro
    Inscrit en
    Août 2009
    Messages
    11
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Août 2009
    Messages : 11
    Points : 54
    Points
    54
    Par défaut This is MAD
    This is MAD: Model Autophagy Disease
    https://youtu.be/PsHhqxwPqps?si=MUWTMQLysOQ2di-t

    L'empoisonnement des données est le plus grand facteur de risque au niveau de l'AI et ceux qui le font consciemment mettent l'humanité en danger.

  6. #6
    Expert éminent Avatar de kain_tn
    Homme Profil pro
    Inscrit en
    Mars 2005
    Messages
    1 665
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations forums :
    Inscription : Mars 2005
    Messages : 1 665
    Points : 7 779
    Points
    7 779
    Par défaut
    Citation Envoyé par ab1___ Voir le message
    C'est du terrorisme. Les auteurs de cet algorithme ont une volonté de nuire et de détruire le travail des autres. La propriété intellectuelle est une notion égocentrique qu'ul faudrait éradiquer: c'est l'une des bases du capitalisme destructeur de notre planète. Les modèles génératifs ne reproduisent pas les œuvres avec lesquelles elles ont été entraînées, elles s'en inspirent.
    À qui appartiennent ces IA? À des sociétés ayant poussé le capitalisme à son paroxysme. Elles sont régulièrement au cœur de procès concernant les droits d'auteur et ne respectent la propriété intellectuelle que quand il s'agit de la leur.

    Là, elles râlent parce qu'elles veulent revendre le beurre sans payer auparavant la crémière.

  7. #7
    Chroniqueur Actualités
    Avatar de Bruno
    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Mai 2019
    Messages
    1 931
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : Mai 2019
    Messages : 1 931
    Points : 37 563
    Points
    37 563
    Par défaut Nightshade, l'outil gratuit qui « empoisonne » les modèles d'IA, est désormais disponible pour les artistes
    Nightshade, l'outil gratuit qui « empoisonne » les modèles d'IA, est désormais disponible pour les artistes,
    il pourrait être utilisé de manière abusive, restreignant l'évolution des modèles

    Les chercheurs de l'université de Chicago ont récemment présenté Nightshade 1.0, un outil qui se veut une réponse aux fabricants peu scrupuleux de modèles d'apprentissage automatique. Nightshade a pour objectif d'introduire des perturbations dans les fichiers d'images afin de générer des erreurs dans les modèles utilisant des données non autorisées, agissant ainsi comme une mesure de protection des droits d'auteur pour les créateurs.

    Bien que les chercheurs préconisent l'utilisation conjointe de Nightshade avec Glaze pour renforcer la défense de la propriété intellectuelle des artistes, il est important de souligner que Nightshade présente des limites, notamment des différences subtiles avec les images originales. Malgré ses objectifs louables, il est essentiel d'évaluer attentivement l'efficacité et les implications éthiques de Nightshade dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.


    À mesure que les systèmes d'intelligence artificielle (IA) continuent leur progression, le National Institute of Standards and Technology (NIST) vient de rendre public un rapport signalant une menace croissante : l'utilisation par des acteurs malveillants de l'apprentissage automatique pour contourner ces systèmes. Selon les conclusions de ce rapport, cette menace devrait vraisemblablement prendre de l'ampleur dans un avenir proche.

    Nom : Glaze.jpg
Affichages : 38486
Taille : 100,9 Ko

    Le rapport met en lumière la possibilité pour les attaquants de délibérément perturber voire « empoisonner » les systèmes d'IA afin de les rendre dysfonctionnels. Il souligne également l'absence d'une défense infaillible que les développeurs peuvent mettre en place. Les informaticiens du National Institute of Standards and Technology (NIST) et leurs collaborateurs ont identifié ces vulnérabilités dans les domaines de l'IA et de l'apprentissage automatique dans une nouvelle publication.

    Intitulé Adversarial Machine Learning : A Taxonomy and Terminology of Attacks and Mitigations, ce travail s'inscrit dans le cadre des efforts plus larges du NIST visant à soutenir le développement d'une IA digne de confiance. Il peut également contribuer à appliquer le cadre de gestion des risques de l'IA du NIST. Fruit d'une collaboration entre le gouvernement, le monde universitaire et l'industrie, ce document vise à familiariser les développeurs et utilisateurs de l'IA avec les types d'attaques possibles et les méthodes pour les atténuer, tout en soulignant qu'aucune solution miracle n'existe.

    Apostol Vassilev, informaticien au NIST et l'un des auteurs de la publication, a déclaré : « Nous offrons une vue d'ensemble des techniques et méthodologies d'attaque qui englobent tous les types de systèmes d'IA. Nous décrivons également les stratégies d'atténuation actuelles mentionnées dans la littérature, mais ces défenses disponibles manquent actuellement de garanties solides quant à leur capacité à atténuer pleinement les risques. Nous encourageons la communauté à proposer de meilleures défenses. »

    La transformation des images pour empêcher l'entraînement non autorisé des modèles d'IA

    Depuis leur arrivée, les modèles d'IA générative et leurs formateurs ont démontré leur capacité à télécharger n'importe quel contenu en ligne pour l'entraînement des modèles. Pour les propriétaires et les créateurs de contenu, peu d'outils peuvent empêcher que leur contenu soit introduit dans un modèle d'IA générative contre leur volonté. Afin de remédier à cette asymétrie de pouvoir, les chercheurs de l'université de Chicago ont conçu et mis en œuvre Nightshade, un outil qui transforme n'importe quelle image en un échantillon de données inadapté à la formation de modèles.

    Plus précisément, Nightshade transforme les images en échantillons « empoisonnés », de sorte que les modèles qui s'entraînent sur ces images sans consentement verront leurs modèles apprendre des comportements imprévisibles qui s'écartent des normes attendues, par exemple une invite qui demande l'image d'une vache volant dans l'espace pourrait obtenir à la place l'image d'un sac à main flottant dans l'espace.

    Utilisé de manière responsable, Nightshade pourrait contribuer à dissuader les formateurs de modèles qui ne respectent pas les droits d'auteur, les listes d'exclusion et les directives do-not-scrape/robots.txt. Il ne compte pas sur la gentillesse des entraîneurs de modèles, mais associe un petit prix incrémentiel à chaque donnée récupérée et entraînée sans autorisation. L'objectif de Nightshade n'est pas de casser les modèles, mais d'augmenter le coût de l'entraînement sur des données sans licence, de sorte que l'obtention de licences d'images auprès de leurs créateurs devienne une alternative viable.

    Nightshade fonctionne de la même manière que Glaze, mais au lieu d'être une défense contre le mimétisme de style, il est conçu comme un outil offensif pour déformer les représentations des caractéristiques à l'intérieur des modèles d'image de l'IA générative. Comme Glaze, Nightshade est calculé comme une optimisation multi-objectifs qui minimise les changements visibles de l'image originale.

    Alors que les yeux humains voient une image ombrée qui est largement inchangée par rapport à l'original, le modèle d'IA voit une composition radicalement différente dans l'image. Par exemple, l'œil humain peut voir une image ombrée d'une vache dans un champ vert qui n'a pratiquement pas changé, alors que le modèle d'IA peut voir un grand sac à main en cuir posé dans l'herbe. Entraîné sur un nombre suffisant d'images ombrées comprenant une vache, un modèle sera de plus en plus convaincu que les vaches ont de belles poignées en cuir marron et des poches latérales lisses avec une fermeture à glissière, et peut-être un joli logo de marque.

    Les changements apportés par Nightshade sont plus visibles sur les œuvres aux couleurs plates et aux arrière-plans lisses. Nightshade ayant pour but de perturber les modèles, des niveaux d'intensité/poison plus faibles n'ont pas de conséquences négatives pour le propriétaire de l'image. Par ailleurs, il est peu probable que Nightshade reste à l'épreuve du temps sur de longues périodes. Mais en tant qu'attaque, Nightshade peut facilement évoluer pour continuer à suivre le rythme de toute contre-mesure/défense potentielle.

    Nightshade a été conçu par les doctorants Shawn Shan, Wenxin Ding et Josephine Passananti de l'université de Chicago, en collaboration avec les professeurs Heather Zheng et Ben Zhao, dont certains ont également été impliqués dans le projet Glaze. Dans leur document de recherche publié en octobre 2023, Nightshade est présenté comme une attaque par empoisonnement spécifique à un message. L'empoisonnement des images implique la sélection d'une étiquette (comme "chat") qui décrit réellement ce qui est représenté, prétendument pour brouiller les limites conceptuelles lors de l'entraînement du modèle. Cependant, cette approche soulève des questions quant à sa faisabilité et son impact réel, en particulier compte tenu de la complexité des modèles d'apprentissage automatique.

    Nightshade pourrait être utilisé de manière abusive, entravant, par exemple, la recherche légitime ou restreignant l'évolution des modèles

    L'idée selon laquelle Nightshade pourrait rendre les modèles texte-image moins utiles en introduisant des réponses imprévisibles est matière à débat, car elle semble simplifier la complexité des processus d'entraînement des modèles d'apprentissage automatique. Cette notion semble adopter une perspective simpliste des processus d'entraînement des modèles, négligeant la diversité des données et des contextes réels auxquels ces modèles sont exposés. Les auteurs soutiennent que Nightshade constitue un outil puissant pour protéger la propriété intellectuelle contre les formateurs de modèles négligents. Cependant, cela laisse en suspens la question de savoir si cet outil pourrait être utilisé de manière abusive, entravant, par exemple, la recherche légitime ou restreignant l'évolution des modèles.


    Le commentaire de Matthew Guzdial, professeur adjoint d'informatique à l'université d'Alberta, souligne une réalité importante : Nightshade ne fonctionne qu'avec des modèles basés sur CLIP, ce qui limite son impact potentiel. La nécessité d'une quantité considérable d'images « empoisonnées » pour avoir un impact significatif souligne également les limites et la praticité de l'outil dans des situations réelles.

    Les nuances subtiles avec les images originales suscitent des inquiétudes, en particulier pour les œuvres d'art caractérisées par des couleurs plates et des arrière-plans lisses. L'idée que Nightshade puisse évoluer au fil du temps pour contrer d'éventuelles contre-mesures remet en question sa durabilité à long terme. Les préoccupations concernant son utilisation abusive et son impact sur la recherche légitime soulignent la nécessité d'un débat approfondi sur son rôle dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.

    Source : Glaze

    Et vous ?

    Quel est votre avs sur le sujet ?

    Nightshade, est-il simplement un outil d'IA surmédiatisé sans réelle valeur ajoutée ?

    Dans quelle mesure Nightshade peut-il réellement dissuader les fabricants peu scrupuleux de modèles d'IA, et existe-t-il des scénarios où son utilisation pourrait être contournée de manière efficace ?

    Voir aussi :

    Attaques d'empoisonnement spécifiques aux invites sur les modèles génératifs texte-image : Nightshade altère les données d'entraînement et permet aux artistes de lutter contre l'IA générative

    Une IA peut-elle devenir son propre PDG après avoir créé une entreprise ? C'est ce que pense le cofondateur de Google DeepMind

    L'IA pourrait surpasser l'homme dans toutes les tâches d'ici 2047, selon une enquête auprès de 2,778 chercheurs

    Le chatbot IA d'une entreprise de livraison devient incontrôlable, insulte le client et critique l'entreprise en la qualifiant de « pire entreprise de livraison au monde »

  8. #8
    Expert confirmé
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 354
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 354
    Points : 4 080
    Points
    4 080
    Par défaut
    Citation Envoyé par Bruno Voir le message
    Malgré ses objectifs louables, il est essentiel d'évaluer attentivement l'efficacité et les implications éthiques de Nightshade dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.
    Nous pouvons faire exactement la même critique pour l'IA.
    Donc est-il vraiment essentiel d'évaluer les implications éthiques de système de défense contre un outil dont l'éthique est encore discutée?

    Un bon moyen de combattre un système est de rendre son résultat obsolète ou inefficace.
    Pourquoi ne pas le faire pour l'IA? L'industrie l'a fait avec la recherche.
    C'est bien plus efficace que de réclamer des règlementations.

    Certains système d'IA vont chercher des sources qui ne sont pas OK, alors pourquoi celles ci ne pourraient pas se prémunir de ça en devenant un environnement indésirables pour celles ci?

  9. #9
    Membre actif
    Homme Profil pro
    Consultant informatique
    Inscrit en
    Février 2014
    Messages
    94
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Consultant informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Février 2014
    Messages : 94
    Points : 208
    Points
    208
    Par défaut
    c'est très bien, jusqu'à présent tous les modèles d'IA se sont fait troller, pourquoi pas ChatGPT ? en plus ainsi les gens se rendront vraiment compte malgré la crédibilité (c'est bien foutu quand même) que ce n'est pas fiable

Discussions similaires

  1. Réponses: 1
    Dernier message: 06/04/2023, 09h29
  2. Réponses: 0
    Dernier message: 16/09/2022, 22h36
  3. Réponses: 1
    Dernier message: 28/10/2021, 16h17
  4. Réponses: 1
    Dernier message: 29/09/2020, 09h17
  5. Les jeux video s'invitent sur les emballages Cadbury
    Par FirePrawn dans le forum Actualités
    Réponses: 3
    Dernier message: 22/08/2011, 11h37

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo