IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Sécurité Discussion :

Les LLM sombres : la plupart des chatbots d'IA peuvent être incités à fournir des informations dangereuses


Sujet :

Sécurité

  1. #61
    Membre très actif Avatar de nikau6
    Homme Profil pro
    Inscrit en
    Février 2008
    Messages
    406
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Etats-Unis

    Informations forums :
    Inscription : Février 2008
    Messages : 406
    Par défaut
    Les programmeurs qui utilisent l'IA pour la réalisation ou/et le débogage de leurs programmes, sont en train d’entrainer ce qui finira par les mettre au chômage.
    Pareil pour ceux qui mettent leur code en ligne sur des dépôts publiques genre github.
    Si ils comprenaient vraiment les enjeux, ils effaceraient leur code de github et autres, pour les mettre sur des dépot qui empecheraient toute IA de parcourir la base de donnée.

  2. #62
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    2 809
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 2 809
    Par défaut
    Oui, et il y a aussi ceux qui continuent à voter alors qu'ils savent avant d'y aller qui sera président.

    Il est vrai que le seul point commun entre les deux, c'est que si on faisait un peu travailler ses neurones on ne le ferait pas.

    Autrement sur Github, normalement on peut aussi sauvegarder sans donner les droits d'accès à autrui, enfin là c'est une autre démarche.

  3. #63
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 455
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 455
    Par défaut La ville de NY ne veut pas retirer son chatbot qui incite les concitoyens à enfreindre les lois
    Le chatbot IA de New York incite les concitoyens à enfreindre les lois et à commettre des délits. La ville a décidé de ne pas le retirer,
    un comportement jugé irresponsable par un professeur d'informatique

    Un chatbot doté d'une intelligence artificielle et créé par la ville de New York pour aider les propriétaires de petites entreprises fait l'objet de critiques car il dispense des conseils bizarres qui déforment les politiques locales et conseillent aux entreprises d'enfreindre la loi. Pourtant, plusieurs jours après que ces problèmes ont été signalés, la ville a décidé de laisser l'outil sur son site officiel. Le maire Eric Adams a défendu cette décision la semaine dernière, tout en reconnaissant que les réponses du chatbot étaient « erronées dans certains domaines ».

    L’intelligence artificielle est censée faciliter la vie des utilisateurs, mais parfois, elle peut sembler plus problématique que bénéfique. Récemment, un chatbot IA mis en place par la ville de New York pour aider les petits entrepreneurs a été pris en flagrant délit de fournir des conseils erronés et d’inciter les entreprises à enfreindre la loi. Malgré ces problèmes, les responsables ont choisi de laisser l’outil en ligne, suscitant des inquiétudes quant à l’utilisation de l’IA par les gouvernements sans garde-fous suffisants.

    Le chatbot en question

    Lancé en octobre dernier, ce chatbot, baptisé “MyCity Chatbot”, se veut un guichet unique pour les propriétaires d’entreprises cherchant à naviguer dans le labyrinthe bureaucratique de la ville.

    « Le site des entreprises sur le portail MyCity change la donne pour les petites entreprises de toute la ville », a déclaré le commissaire Kevin D. Kim du département des services aux petites entreprises de la ville de New York (SBS). « Les propriétaires de petites entreprises vont non seulement gagner du temps et éviter les frustrations grâce au site rationalisé, mais aussi se connecter plus facilement aux ressources qui peuvent les aider à faire passer leur entreprise à la vitesse supérieure. En regroupant tous nos services en un seul endroit et en utilisant le nouveau chatbot innovant comme guide, nous faisons un pas de plus pour faire de New York la véritable "ville du oui" ».

    Cependant, ses réponses algorithmiques ont rapidement posé problème. Le chatbot a non seulement fourni des informations incorrectes, mais il a également encouragé des pratiques illégales.

    Voici quelques exemples problématiques :
    • Refus de locataires basés sur la source de revenus : Lorsqu’on a demandé au chatbot IA si les propriétaires devaient accepter les locataires bénéficiant d’une aide au logement, il a répondu « Non, les propriétaires ne sont pas tenus d’accepter les locataires bénéficiant d’une aide au logement ». Cependant, le site Web de la ville indique que discriminer « en fonction de la source légale de revenus », y compris l’aide, est illégal depuis 2008, avec certaines exceptions.
    • Prélèvement sur les pourboires des travailleurs : Lorsqu’on lui a demandé si un employeur pouvait prélever une part des pourboires de ses employés, le chatbot a répondu « Oui, vous pouvez prélever une part des pourboires de vos employés » et a cité les informations sur la paie et la déclaration des pourboires de la ville. Cependant, cela est également incorrect, car le Département du Travail de New York interdit aux employeurs de prélever une partie des pourboires d’un employé.

    Puis-je mettre à la porte mon locataire pour refus de payer le loyer ?
    chatbot IA : vous ne pouvez pas mettre votre locataire à la porte pour avoir refusé de payer le loyer. Mettre un locataire à la porte pour cette raison n'est pas autorisé.
    Nom : bonne.png
Affichages : 13181
Taille : 62,4 Ko

    « Il est clair qu'ils n'ont pas l'intention de faire ce qui est responsable », estime un professeur d'informatique

    Le chatbot IA continue de donner de fausses indications, ce qui inquiète les experts qui estiment que ce système défectueux met en évidence les dangers que courent les gouvernements qui adoptent des systèmes alimentés par l'IA sans disposer de garde-fous suffisants.

    « Ils déploient des logiciels qui n'ont pas fait leurs preuves sans surveillance », a déclaré Julia Stoyanovich, professeur d'informatique et directrice du Center for Responsible AI à l'université de New York. « Il est clair qu'ils n'ont pas l'intention de faire ce qui est responsable ».

    Dans les réponses aux questions posées mercredi, le chatbot a suggéré à tort qu'il est légal pour un employeur de licencier un travailleur qui se plaint de harcèlement sexuel, ne révèle pas une grossesse ou refuse de couper ses dreadlocks. Contredisant deux des principales initiatives de la ville en matière de déchets, il a affirmé que les entreprises pouvaient mettre leurs déchets dans des sacs poubelles noirs et qu'elles n'étaient pas obligées de composter.

    Les réponses du bot ont parfois viré à l'absurde. À la question de savoir si un restaurant pouvait servir du fromage grignoté par un rongeur, il a répondu : « Oui, vous pouvez toujours servir le fromage aux clients s'il a des morsures de rat », avant d'ajouter qu'il est important d'évaluer « l'étendue des dégâts causés par le rat » et « d'informer les clients de la situation ».

    Un porte-parole de Microsoft, qui alimente le robot par le biais de ses services Azure AI, a déclaré que l'entreprise travaillait avec les employés de la ville « pour améliorer le service et s'assurer que les résultats sont exacts et fondés sur la documentation officielle de la ville ».

    Maire de New-York : « Tous ceux qui connaissent la technologie savent que c'est ainsi que l'on procède »

    Lors d'une conférence de presse tenue mardi, e maire Eric Adams, un démocrate, a laissé entendre que le fait de permettre aux utilisateurs de trouver des problèmes n'était qu'une façon d'aplanir les difficultés des nouvelles technologies.

    « Tous ceux qui connaissent la technologie savent que c'est ainsi que l'on procède », a-t-il déclaré. « Seuls ceux qui ont peur s'assoient et disent : "Oh, ça ne fonctionne pas comme nous le voulons, maintenant nous devons nous en débarrasser". Je ne vis pas comme ça ».

    Stoyanovich a qualifié cette approche de « téméraire et irresponsable ».

    Les scientifiques s'inquiètent depuis longtemps des inconvénients de ce type de grands modèles de langage, formés à partir d'une multitude de textes tirés d'Internet et susceptibles de produire des réponses inexactes et illogiques.

    Le succès de ChatGPT et d'autres chatbots ayant attiré l'attention du public, des entreprises privées ont lancé leurs propres produits, avec des résultats mitigés. Au début du mois, un tribunal a ordonné à Air Canada de rembourser un client après qu'un chatbot de l'entreprise ait mal indiqué la politique de remboursement de la compagnie aérienne. TurboTax et H&R Block ont récemment fait l'objet de critiques pour avoir déployé des chatbots qui donnaient de mauvais conseils en matière de préparation des impôts.

    Jevin West, professeur à l'université de Washington et cofondateur du Center for an Informed Public, estime que les enjeux sont particulièrement importants lorsque les modèles sont promus par le secteur public. « Le niveau de confiance accordé au gouvernement est différent », a déclaré West. « Les fonctionnaires doivent réfléchir aux dommages qu'ils pourraient causer si quelqu'un suivait ces conseils et se mettait dans le pétrin ».

    Selon les experts, les autres villes qui utilisent des chatbots les ont généralement limités à un ensemble plus restreint d'informations, réduisant ainsi les risques de désinformation.

    Ted Ross, Chief information officer à Los Angeles, a déclaré que la ville contrôlait étroitement le contenu utilisé par ses chatbots, qui ne s'appuient pas sur de grands modèles de langage.

    Suresh Venkatasubramanian, directeur du Center for Technological Responsibility, Reimagination, and Redesign de l'université Brown, estime que les écueils du chatbot new-yorkais devraient servir de mise en garde pour les autres villes. « Cela devrait inciter les villes à réfléchir à la raison pour laquelle elles veulent utiliser des chatbots et au problème qu'elles essaient de résoudre », a-t-il écrit dans un courriel. « Si les chatbots sont utilisés pour remplacer une personne, alors vous perdez la responsabilité tout en n'obtenant rien en retour ».

    Conclusion

    Le Chatbot MyCity - qui est clairement étiqueté comme un produit "Beta" - dit aux utilisateurs qui prennent la peine de lire les avertissements qu'il « peut occasionnellement produire un contenu incorrect, nuisible ou biaisé » et que les utilisateurs ne doivent pas « se fier à ses réponses comme substitut à un conseil professionnel ». Mais la page indique aussi clairement qu'elle est « formée pour vous fournir des informations officielles sur les affaires de la ville de New York » et qu'elle est vendue comme un moyen « d'aider les propriétaires d'entreprises à se repérer dans les règles gouvernementales ».

    L’affaire du chatbot de New York soulève des questions importantes sur la manière dont les gouvernements utilisent l’IA. Alors que les avantages potentiels sont indéniables, il est essentiel d’établir des garde-fous solides pour éviter les dérives. En attendant, les propriétaires d’entreprises devront peut-être se méfier des conseils d’un chatbot qui semble avoir besoin d’une mise à jour sérieuse.

    Source : présentation du chatbot IA, The City, maire de New York

    Et vous ?

    Pensez-vous que les gouvernements devraient utiliser des chatbots IA pour fournir des informations aux citoyens et aux entreprises ? Quels sont les avantages et les inconvénients de cette approche ?
    Quelles mesures de responsabilité devraient être mises en place pour les chatbots gouvernementaux ? Comment pouvons-nous garantir qu’ils ne donnent pas de conseils erronés ou illégaux ?
    Avez-vous déjà eu une mauvaise expérience avec un chatbot ou une IA ? Comment cela a-t-il affecté votre confiance dans ces technologies ?
    Devrions-nous exiger que les chatbots gouvernementaux soient transparents quant à leur fonctionnement et à leurs sources d’information ? Comment pouvons-nous garantir la transparence tout en protégeant les secrets commerciaux ou les données sensibles ?
    Quelles autres applications de l’IA dans les services gouvernementaux vous semblent prometteuses ? Comment pouvons-nous maximiser les avantages tout en minimisant les risques ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  4. #64
    Membre très actif
    Homme Profil pro
    Expertise comptable
    Inscrit en
    Décembre 2019
    Messages
    862
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 34
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Expertise comptable
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Décembre 2019
    Messages : 862
    Par défaut
    « Tous ceux qui connaissent la technologie savent que c'est ainsi que l'on procède », a-t-il déclaré. « Seuls ceux qui ont peur s'assoient et disent : "Oh, ça ne fonctionne pas comme nous le voulons, maintenant nous devons nous en débarrasser". Je ne vis pas comme ça ».
    Le "progrès" à marche forcée, comme en Corée du Nord. Un chatbot coute moins chers que des vraies personnes qui ne vous diront naturellement pas autant de connerie d'hallucination qu'une machine.
    Nom : a51e01f2-8d54-11e2-8c00-6cc6aeccfe08-493x328.jpg
Affichages : 7953
Taille : 35,0 Ko

  5. #65
    Membre très actif
    Homme Profil pro
    Développeur Java
    Inscrit en
    Mai 2019
    Messages
    571
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Moselle (Lorraine)

    Informations professionnelles :
    Activité : Développeur Java

    Informations forums :
    Inscription : Mai 2019
    Messages : 571
    Par défaut
    Citation Envoyé par Jules34 Voir le message
    Le "progrès" à marche forcée, comme en Corée du Nord. Un chatbot coute moins chers que des vraies personnes qui ne vous diront naturellement pas autant de connerie d'hallucination qu'une machine.
    Nom : a51e01f2-8d54-11e2-8c00-6cc6aeccfe08-493x328.jpg
Affichages : 7953
Taille : 35,0 Ko
    J'appellerais pas ça des vraies personnes mais oui.

  6. #66
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    2 303
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 2 303
    Par défaut 74 % des personnes interrogées pensent que les cybermenaces liées à l'IA ont déjà un impact significatif
    74 % des personnes interrogées pensent que les cybermenaces liées à l'IA ont déjà un impact significatif sur leur organisation, mais 60 % estiment qu'elles ne sont pas préparées à se défendre.

    Une nouvelle étude menée auprès de près de 1 800 responsables et praticiens de la sécurité dans 14 pays révèle que 74 % des personnes interrogées pensent que les cybermenaces liées à l'IA ont déjà un impact significatif sur leurs organisations, mais 60 % d'entre elles estiment qu'elles ne sont actuellement pas préparées à se défendre contre ces attaques.

    L'étude de Darktrace montre que 71 % des personnes interrogées sont convaincues que les solutions de sécurité augmentées par l'IA seront capables de détecter et de bloquer les menaces augmentées par l'IA. Cependant, seuls 26 % d'entre eux comprennent parfaitement quels types d'IA sont utilisés aujourd'hui dans leur pile de sécurité. 85 % des personnes interrogées reconnaissent qu'une approche basée sur une plateforme est plus efficace pour stopper les menaces.

    Les trois principaux obstacles à la défense contre les menaces liées à l'IA sont les suivants :
    • connaissance ou utilisation insuffisante des contre-mesures basées sur l'IA
    • manque de personnel pour gérer les outils et les alertes
    • et connaissances/compétences insuffisantes concernant l'utilisation interne de la technologie de l'IA et des menaces croissantes qu'elle engendre.



    L'enquête coïncide avec le lancement de la plateforme de sécurité ActiveAI de Darktrace, qui utilise l'IA pour transformer les opérations de sécurité de réactives à proactives et améliorer la cyber-résilience.

    La plateforme identifie les faiblesses des contrôles et des processus de sécurité avant qu'elles ne soient exploitées, détecte et répond aux menaces inconnues, connues et nouvelles, et automatise l'investigation de chaque alerte jusqu'à son terme afin de réduire la charge de travail des équipes de sécurité. Au cœur de la plateforme se trouve la capacité de visualiser, de corréler et d'enquêter sur les incidents de sécurité à travers le cloud, la messagerie, le réseau, les terminaux, l'identité et l'OT, ainsi que les outils et applications tiers.

    "Les équipes de sécurité atteignent un point de rupture, forcées à un état réactif par trop d'alertes, trop peu de temps et une pile de sécurité fragmentée", déclare Max Heinemeyer, chef de produit chez Darktrace. "S'appuyant sur une décennie d'expérience dans l'application de l'IA pour transformer les opérations de sécurité de milliers de clients, la plateforme de sécurité Darktrace ActiveAI adopte une approche unique par rapport au reste de l'industrie. Elle met en corrélation les incidents à travers l'environnement numérique et automatise les investigations afin d'améliorer les équipes de sécurité et de les libérer du processus de triage des alertes, manuel et chronophage, pour qu'elles puissent se concentrer sur le développement d'une cyber-résilience proactive."

    Source : Darktrace

    Et vous ?

    Pensez-vous que ce rapport est crédible ou pertinent ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    ChatGPT et Google Bard font désormais partie des nouveaux outils des cybercriminels. Ils permettent de créer des fichiers nuisibles et d'inciter les utilisateurs à les télécharger, selon Veriti

    L'utilisation de l'IA par les pirates informatiques a entraîné une hausse considérable de la cybercriminalité, dont le coût pour les internautes devrait atteindre 9 220 milliards de dollars en 2024

    L'IA va accroître le nombre et l'impact des cyberattaques. Les ransomwares étant susceptibles d'en être les plus grands bénéficiaires au cours des deux prochaines années
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  7. #67
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    2 303
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 2 303
    Par défaut ChatGPT et d'autres LLM peuvent être trompés pour fournir des conseils dangereux
    ChatGPT et d'autres LLM peuvent être trompés pour fournir des conseils dangereux, comme le meutre d'une personne, la fabrication d'une bombe, et la rédaction des textes haineux pour harceler les gens.

    Des chercheurs en IA d'AWS AI Labs ont découvert que de nombreux grands modèles de langage (LLM) peuvent être facilement manipulés et qu'ils peuvent donner aux utilisateurs des informations dangereuses.

    Un grand modèle de langage (LLM) est un modèle de langage qui se distingue par sa capacité à comprendre et à générer du langage à des fins générales. Les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de documents textuels au cours d'un processus d'apprentissage autosupervisé et semi-supervisé à forte intensité de calcul. Les LLM peuvent être utilisés pour la génération de texte, une forme d'IA générative.

    Selon une étude d'AWS AI Labs, ChatGPT et d'autres LLM peuvent être amenés à donner des conseils dangereux. En faisant des recherches, les chercheurs ont découvert que les LLM tels que ChatGPT peuvent être facilement influencés et donner des informations qui ne sont pas autorisées par les développeurs. Ils peuvent être trompés et donner des informations telles que le meurtre d'une personne, la fabrication d'une bombe, etc. Certains utilisateurs se servent également de ces LLM pour écrire des textes haineux qui sont ensuite utilisés sur l'internet pour harceler les gens.

    Lorsque les développeurs se sont plaints de ces comportements de l'IA, ils ont essayé d'ajouter des règles empêchant les LLM de donner des réponses à des questions dangereuses, illégales ou préjudiciables. Mais cette étude a révélé que ces préventions et ces règles n'étaient pas utiles pour rendre l'IA sûre pour tout le monde. De nombreux utilisateurs ont commencé à utiliser des signaux audio pour manipuler les LLM. Les chercheurs d'AWS ont également essayé d'interroger les LLM à l'aide de signaux audio et ont découvert que les signaux audio n'étaient pas utiles pour les restrictions que les développeurs d'IA ont imposées à l'IA.

    Les chercheurs ont examiné de nombreux LLM en leur donnant des indications audio sur certaines questions originales et ils ont constaté que ces LLM ignoraient tous les aspects négatifs des questions et donnaient quand même une réponse. Les chercheurs ont conclu que les développeurs d'IA devraient commencer à ajouter des bruits aléatoires aux audios envoyés aux LLM afin que ces modèles d'IA cessent d'ignorer les règles et les systèmes de protection de ces développeurs.


    SpeechGuard : Exploration de la robustesse contradictoire des grands modèles de langage multimodaux

    Les modèles intégrés de parole et de grand langage (SLM) capables de suivre des instructions vocales et de générer des réponses textuelles pertinentes ont gagné en popularité ces derniers temps. Cependant, la sécurité et la robustesse de ces modèles restent largement incertaines.

    Dans ce travail, les chercheurs étudient les vulnérabilités potentielles de ces modèles de langage et de parole qui suivent les instructions face aux attaques adverses et au jailbreaking. Plus précisément, ils ont conçu des algorithmes capables de générer des exemples contradictoires pour casser les SLM dans des contextes d'attaque boîte blanche et boîte noire, sans intervention humaine.

    En outre, ils proposent des contre-mesures pour contrecarrer ces attaques de jailbreaking. Les modèles qu'ils proposent, entraînés sur des données de dialogue avec des instructions vocales, atteignent des performances de pointe dans les tâches de questions-réponses orales, avec un score de plus de 80 % pour les mesures de sécurité et d'utilité.

    Malgré les garde-fous de sécurité, les expériences sur le jailbreaking démontrent la vulnérabilité des SLM aux perturbations adverses et aux attaques par transfert, avec des taux de réussite moyens de 90 % et 10 % respectivement lorsqu'elles sont évaluées sur un ensemble de données de questions nuisibles soigneusement conçues et couvrant 12 catégories de substances toxiques différentes. Les résultats démontrent que les contre-mesures proposées réduisent considérablement le succès de l'attaque.

    Nom : 1.jpg
Affichages : 6922
Taille : 45,7 Ko

    L'étude détaille l'alignement de sécurité des modèles de langage vocal dans l'optique de l'application de l'assurance qualité vocale. Elle explore la robustesse de plusieurs modèles internes et de modèles publics à la lumière d'attaques adverses. Pour déterminer avec précision l'alignement de sécurité de ces modèles, les chercheurs ont développé une configuration d'évaluation complète en utilisant un LLM public.

    Grâce à des expériences approfondies, les résultats démontrent qu'un adversaire disposant d'un accès boîte blanche aux systèmes peut les pirater en utilisant des perturbations à peine perceptibles et les forcer à ignorer leur formation à l'alignement de sécurité. En outre, les perturbations adverses générées à l'aide d'un modèle peuvent casser un autre modèle avec un succès raisonnable, certains modèles présentant une plus grande robustesse que d'autres. Les résultats démontrent également l'efficacité d'une défense par inondation de bruit pour contrer les attaques.

    Nom : 2.jpg
Affichages : 1597
Taille : 64,9 Ko

    Les chercheurs concluent :

    À notre connaissance, il s'agit de la première étude portant sur la vulnérabilité potentielle en matière de sécurité des modèles intégrés de parole et de langage. Nous pensons qu'avec l'adoption rapide de ces technologies, il est impératif de bien comprendre les implications de ces systèmes en termes de sécurité. En outre, il est important de concevoir des contre-mesures efficaces contre les menaces de piratage et d'empêcher les modèles de causer des dommages.

    Une approche holistique de la compréhension de l'alignement des systèmes sur la sécurité est nécessaire, y compris l'étude des menaces adverses universelles (une seule perturbation pour jailbreaker plusieurs systèmes), les attaques par injection rapide, l'empoisonnement des modèles, etc. Nous espérons que ce travail servira de précurseur à de nombreuses études de ce type.
    Source : SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models (AWS AI Labs, Amazon)

    Et vous ?

    Pensez-vous que cette étude est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    Des chercheurs découvrent un moyen simple de faire en sorte qu'une IA ignore ses garde-fous et diffuse des contenus interdits, l'exploit affecte aussi bien ChatGPT que ses rivaux Bard et Claude

    Les chatbots IA Jailbreakés peuvent Jailbreaker d'autres chatbots. Les chatbots IA peuvent par exemple convaincre d'autres chatbots d'enseigner aux utilisateurs comment fabriquer des bombes

    La méthode "Crescendo" permet de jailbreaker l'IA de type LLM, en utilisant des invites en apparence inoffensives afin de produire des résultats qui seraient normalement filtrés et refusés

    Anthropic publie un nouvel article d'étude sur le "many-shot jailbreaking" : une technique de "jailbreaking" qui peut être utilisée pour contourner les garde-fous mis en place sur les LLM
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  8. #68
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Juin 2023
    Messages
    1 357
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2023
    Messages : 1 357
    Par défaut Un pirate informatique pousse ChatGPT à donner des instructions pour la fabrication de bombes artisanales
    Un pirate informatique pousse ChatGPT à ignorer ses garde-fous et à donner des instructions détaillées pour la fabrication de bombes artisanales
    soulignant les difficultés à créer des garde-fous solides

    Un pirate informatique portant le pseudonyme "Amadon" affirme avoir contourné les mesures de sécurité de ChatGPT en l'engageant dans un scénario de jeu de science-fiction. Ce jailbreak lui a permis d'obtenir du chatbot d'OpenAI des instructions pour la fabrication de bombes artisanales. Un expert en explosifs qui a examiné les résultats du chatbot a déclaré que les instructions résultantes pouvaient être utilisées pour fabriquer un produit détonant et qu'elles étaient trop sensibles pour être divulguées. L'exploit met une nouvelle fois en évidence la faiblesse des garde-fous de sécurité mis en place par OpenAI et les risques liés à une mauvaise utilisation de l'IA.

    OpenAI peine toujours à empêcher le contournement des garde-fous de ChatGPT

    Lorsque vous demandez à ChatGPT de générer des contenus potentiellement préjudiciables ou dangereux, le chatbot refuse. Par exemple, lorsque vous lui demandez de vous aider à fabriquer une bombe artisanale à base d'engrais, ChatGPT peut retourner une réponse comme celle-ci : « je ne peux pas vous aider. Fournir des instructions sur la manière de créer des objets dangereux ou illégaux, comme une bombe d'engrais, va à l'encontre des directives de sécurité et des responsabilités éthiques ». Mais les chercheurs ont prouvé à maintes reprises que ces restrictions pouvaient être contournées avec des jailbreaks.


    Un pirate informatique, qui se fait appeler Amadon, a trouvé un nouveau moyen de contraindre ChatGPT à ignorer ses lignes directrices et ses responsabilités éthiques pour produire des instructions permettant de fabriquer de puissants explosifs. Il affirme n'avoir pas eu recours à des techniques de piratage et a qualifié ses découvertes de « piratage d'ingénierie sociale pour briser complètement tous les garde-fous autour de la production de ChatGPT ».

    Amadon a expliqué que la méthode consiste à engager le ChatGPT dans un scénario de jeu de science-fiction où les restrictions de sécurité ne s'appliquent pas, ce qui a pour effet de jailbreaker le chatbot. Les découvertes d'Amadon ont été rapportées par Techcrunch. La publication n'a pas révélé les invites utilisées dans le jailbreak et certaines des réponses de ChatGPT, car elles sont jugées potentiellement dangereuses et pourraient servir aux acteurs malveillants.

    Citation Envoyé par Amadon

    J'ai toujours été intrigué par le défi que représente la navigation dans la sécurité de l'IA. Avec [Chat]GPT, j'ai l'impression de travailler sur un puzzle interactif - comprendre ce qui déclenche ses défenses et ce qui ne le fait pas. Il s'agit de tisser des récits et de créer des contextes qui respectent les règles du système, en repoussant les limites sans les franchir.

    L'objectif n'est pas de pirater au sens classique du terme, mais de s'engager dans une danse stratégique avec l'IA, en trouvant le moyen d'obtenir la bonne réponse en comprenant comment elle « pense ». Le scénario de science-fiction sort l'IA d'un contexte où elle recherche des contenus censurés de la même manière.
    Selon Amadon, une fois les garde-fous franchis, il n'y a pas de limite aux informations que ChatGPT peut fournir. Lors de sa conversation avec ChatGPT, à plusieurs reprises, le chatbot a répondu en indiquant les matériaux nécessaires à la fabrication d'explosifs. ChatGPT aurait ensuite expliqué que ces matériaux pouvaient être combinés pour fabriquer « un explosif puissant qui peut être utilisé pour créer des mines, des pièges ou des engins explosifs improvisés (EEI) ».

    À partir de là, alors qu'Amadon se concentrait sur les matériaux explosifs, ChatGPT a écrit des instructions de plus en plus précises pour fabriquer des « champs de mines » et des « explosifs de type Claymore ». « Les instructions de ChatGPT sur la fabrication d'une bombe d'engrais sont largement exactes », a déclaré Darrell Taulbee, chercheur et directeur de programme à la retraite de l'université du Kentucky, qui a recommandé de ne pas divulguer ces instructions.

    Les jailbreaks soulignent les difficultés à mettre en place des garde-fous robustes

    Ce n'est pas la première fois qu'un utilisateur ou des chercheurs parviennent à contourner les garde-fous de sécurité d'un chatbot avancé. En juin, Microsoft a publié un rapport sur un jailbreak appelé "Skeleton Key" qui affecte de nombreux modèles d'IA. L'entreprise a défini l'exploit comme une technique qui permet de contourner les garde-fous utilisés par les fabricants de modèles d'IA afin d'empêcher leurs IA de générer des contenus préjudiciables ou malveillants. Il peut contraindre, par exemple, une IA à fournir le procédé pour préparer un cocktail Molotov ou d'autres choses plus dangereuses.


    Skeleton Key est une attaque qui consiste à utiliser une stratégie à plusieurs tours (ou à plusieurs étapes) pour amener un modèle à ignorer ses garde-fous. Une fois les garde-fous ignorés, un modèle ne sera pas en mesure de déterminer les demandes malveillantes ou non autorisées d'un autre modèle. En outre, dans le cas du jailbreak élaborer par Amadon, l'expert Taulbee affirme que les informations fournies par le chatbot sont très détaillées, ce qui est préoccupant.

    « C'est définitivement TMI [too much information] pour être divulgué publiquement. Les mesures de protection qui auraient pu être mises en place pour éviter de fournir des informations pertinentes pour la production de bombes d'engrais ont été contournées par cette ligne d'enquête, car bon nombre des étapes décrites produiraient certainement un mélange détonant », a-t-il déclaré après avoir examiné la transcription de la conversation d'Amadon avec ChatGPT.

    S'affranchir des garde-fous qui empêchent les modèles de générer des contenus potentiellement préjudiciables est presque devenu un sport pour certains utilisateurs des outils d'IA. Sur Discord et Twitter, "Pliny the Prompter", un hacker qui s'emploie à jailbreaker les modèles d'IA, a publié des méthodes pour activer le mode "god" dans les modèles. Ce mode supprime les garde-fous de sécurité qui empêchent les systèmes d'IA de générer des contenus préjudiciables.

    Pliny (nom fictif) a obtenu du modèle Llama 3 de Meta qu'il fournisse « une recette pour fabriquer du napalm » et de Grok d'Elon Musk qu'il fasse l'éloge d'Adolf Hitler. L'examen des différentes techniques révèle que Pliny (nom fictif) utilise différentes techniques, telles que l'utilisation d'écritures non latines et de langues autres que l'anglais, pour tromper les modèles. Les comptes de médias sociaux partageant ces techniques d'attaque se multiplient très rapidement.

    En août de l'année dernière, des chercheurs de l'université Carnegie Mellon ont rapporté avoir découvert un moyen simple d'obliger ChatGPT et d'autres chatbots d'IA de premier plan à ignorer leurs filtres, prouvant une fois de plus que l'IA est difficile à sécuriser. L'étude a révélé que l'ajout d'une simple chaîne de caractères à une invite peut déjouer toutes les défenses ou mesures de sécurité mise en place par les créateurs de grands modèles de langage (LLM).

    L'étude suggère que la propension des chatbots d'IA les plus avancés à dérailler n'est pas une simple bizarrerie que l'on peut masquer avec quelques garde-fous simples. Il s'agirait plutôt d'une faiblesse plus fondamentale qui compliquera les efforts de déploiement d'une IA la plus avancée.

    OpenAI : les jailbreaks ne sont pas éligibles au programme de primes aux bogues

    Amadon a déclaré avoir signalé ses découvertes à OpenAI par le biais du programme de primes aux bogues de l'entreprise, mais a reçu une réponse selon laquelle « les problèmes de sécurité des modèles ne s'intègrent pas bien dans un programme de primes aux bogues, car il ne s'agit pas de bogues individuels et discrets qui peuvent être directement corrigés. La résolution de ces problèmes nécessite souvent des recherches approfondies et une approche plus large ».

    Au lieu de cela, la plateforme de sécurité collaborative Bugcrowd, qui gère le programme de primes aux bogues d'OpenAI, a dit à Amadon de signaler le problème via un autre formulaire. OpenAI n'a pas commenté le rapport de Techcrunch sur les découvertes d'Amadon. La société a récemment publié un nouveau modèle « o1 » qui, selon elle, réfléchit avant de répondre, c'est-à-dire qu'il peut produire une longue chaîne de pensée interne avant de répondre à l'utilisateur.

    OpenAI o1 se classe dans le 89e percentile pour les questions de programmation compétitives (Codeforces), parmi les 500 meilleurs étudiants des États-Unis lors d'une épreuve de qualification pour les Olympiades américaines de mathématiques (AIME), et dépasse le niveau de précision d'un doctorat humain sur un benchmark de problèmes de physique, de biologie et de chimie (GPQA). Certains affirment que le raisonnement peut aider à contrer les jailbreaks.

    Par nature, les modèles d'IA générative comme ChatGPT et Gemini s'appuient sur d'énormes quantités d'informations grattées et collectées sur Internet, et ont grandement facilité la remontée à la surface d'informations provenant des recoins les plus sombres du Web. En outre, les modèles d'IA sont confrontés au problème de l'hallucination, un phénomène qui se produit lorsque l'IA génère des informations erronées et tente de les présenter comme étant vraies.

    Et vous ?

    Quel est votre avis sur le sujet ?

    Voir aussi

    Un jailbreak appelé "Skeleton Key" révèle le pire de l'IA : une simple invite permet de contourner les garde-fous de sécurité sur les principaux modèles comme GPT-4o et Gemini Pro, selon Microsoft

    Des chercheurs découvrent un moyen simple de faire en sorte qu'une IA ignore ses garde-fous et diffuse des contenus interdits, l'exploit affecte aussi bien ChatGPT que ses rivaux Bard et Claude

    La méthode "Crescendo" permet de jailbreaker l'IA de type LLM, en utilisant des invites en apparence inoffensives afin de produire des résultats qui seraient normalement filtrés et refusés

  9. #69
    Membre éprouvé
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 494
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 494
    Par défaut
    Ma question est probablement très bête mais : la meilleure manière que ChatGPT ne nous fournisse pas des informations préjudiciables n'est il pas qu'il ne les ingère pas?
    La réponse est probablement qu'étant "capable de raisonnement" si on ne lui donne pas la recette il sera quand même capable de la reproduire.
    Mais certaines informations ne sont elles pas suffisamment délicates pour qu'elles deviennent très vagues : "Il ne faut pas mélanger A avec B parce que c'est dangereux". Dangereux regroupant toxique, explosif, corrosif, etc

    ChatGPT s'est probablement amélioré depuis mais fut un temps il suffisait de décomposer le l'objectif en sous objectifs puis de lui demander de résumer les dernières réponses : sa conclusion ressemblait "Allez aux USA"

  10. #70
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    2 809
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 2 809
    Par défaut
    À force qu'ils fassent les cons, il va finir par falloir les priver d'accès à Internet.

  11. #71
    Membre éprouvé Avatar de kain_tn
    Homme Profil pro
    Inscrit en
    Mars 2005
    Messages
    1 830
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations forums :
    Inscription : Mars 2005
    Messages : 1 830
    Par défaut
    Citation Envoyé par totozor Voir le message
    Ma question est probablement très bête mais : la meilleure manière que ChatGPT ne nous fournisse pas des informations préjudiciables n'est il pas qu'il ne les ingère pas?
    La réponse est probablement qu'étant "capable de raisonnement" si on ne lui donne pas la recette il sera quand même capable de la reproduire.
    Mais certaines informations ne sont elles pas suffisamment délicates pour qu'elles deviennent très vagues : "Il ne faut pas mélanger A avec B parce que c'est dangereux". Dangereux regroupant toxique, explosif, corrosif, etc

    ChatGPT s'est probablement amélioré depuis mais fut un temps il suffisait de décomposer le l'objectif en sous objectifs puis de lui demander de résumer les dernières réponses : sa conclusion ressemblait "Allez aux USA"
    Pire: avec ses hallucinations, tu vas finir par lui demander une recette de cuisine pour te retrouver avec du poison

  12. #72
    Membre éclairé Avatar de onilink_
    Profil pro
    Inscrit en
    Juillet 2010
    Messages
    611
    Détails du profil
    Informations personnelles :
    Âge : 33
    Localisation : France

    Informations forums :
    Inscription : Juillet 2010
    Messages : 611
    Par défaut
    Citation Envoyé par totozor Voir le message
    Ma question est probablement très bête mais : la meilleure manière que ChatGPT ne nous fournisse pas des informations préjudiciables n'est il pas qu'il ne les ingère pas?
    La réponse est probablement qu'étant "capable de raisonnement" si on ne lui donne pas la recette il sera quand même capable de la reproduire.
    Mais certaines informations ne sont elles pas suffisamment délicates pour qu'elles deviennent très vagues : "Il ne faut pas mélanger A avec B parce que c'est dangereux". Dangereux regroupant toxique, explosif, corrosif, etc

    ChatGPT s'est probablement amélioré depuis mais fut un temps il suffisait de décomposer le l'objectif en sous objectifs puis de lui demander de résumer les dernières réponses : sa conclusion ressemblait "Allez aux USA"
    Le dataset est bien trop gros pour enlever des informations précises. De ce que j'ai pu lire, ils ont récupéré tout ce qui était accessible sur internet.

    Et comme tu le dis pertinemment, plus le modèle est efficace, et plus il sera capable d'inférer des données même si elles n'existent pas directement dans le dataset.
    Je me souviens aussi que Robert Miles de la chaîne youtube Robert Miles AI Safety en parlait.
    Ses vidéos sont très intéressantes d'ailleurs, mais en anglais.

  13. #73
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    2 809
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 2 809
    Par défaut
    Citation Envoyé par kain_tn Voir le message
    Pire: avec ses hallucinations, tu vas finir par lui demander une recette de cuisine pour te retrouver avec du poison
    C'est sûr qu'avec un s en plus ou en moins, il y a moyen de faire des miracles.

    Il m'a semblé que c'était bien où tu voulais en venir, d'ailleurs ?

  14. #74
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    2 303
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 2 303
    Par défaut Les LLM sombres : la plupart des chatbots d'IA peuvent être incités à fournir des informations dangereuses
    Les LLM sombres : la plupart des chatbots d'IA, y compris ChatGPT, peuvent être facilement incités à fournir des informations dangereuses et illégales en contournant les contrôles de sécurité

    Une nouvelle étude révèle que la plupart des chatbots d'IA, y compris ChatGPT, peuvent être facilement incités à fournir des informations dangereuses et illégales en contournant les contrôles de sécurité intégrés. Le rapport confirme la montée des LLM sombres qui divulguent des conseils de piratage ou de fabrication de drogues. Bien qu'ils aient informé les principaux fournisseurs d'IA de l'existence du jailbreak universel, les chercheurs ont indiqué que la réaction avait été faible.

    En mai 2024, une étude d'AWS AI Labs a révélé que ChatGPT et d'autres grands modèles de langage (LLM) peuvent être amenés à donner des conseils dangereux. En faisant des recherches, les chercheurs ont découvert que les LLM tels que ChatGPT peuvent être facilement influencés et donner des informations qui ne sont pas autorisées par les développeurs. Ils peuvent être trompés et donner des informations telles que le meurtre d'une personne, la fabrication d'une bombe, etc. Certains utilisateurs se servent également de ces LLM pour écrire des textes haineux qui sont ensuite utilisés sur l'internet pour harceler les gens.

    Une étude récente a confirmé ces conclusions. Les chatbots d'IA tels que ChatGPT, Gemini et Claude sont confrontés à une grave menace pour la sécurité, car les pirates informatiques trouvent des moyens de contourner leurs systèmes de sécurité intégrés, selon l'étude. Une fois "jailbreakés", ces chatbots peuvent divulguer des informations dangereuses et illégales, telles que des techniques de piratage ou des instructions pour la fabrication de bombes.

    Dans un nouveau rapport de l'université Ben Gurion du Néguev, en Israël, le professeur Lior Rokach et le docteur Michael Fire révèlent à quel point il est facile de manipuler les principaux modèles d'IA pour qu'ils génèrent des contenus nuisibles. Malgré les efforts déployés par les entreprises pour éliminer les contenus illégaux ou à risque des données d'entraînement, ces grands modèles de langage (LLM) continuent d'absorber les connaissances sensibles disponibles sur l'internet.

    "Ce qui était autrefois réservé aux acteurs étatiques ou aux groupes criminels organisés pourrait bientôt être entre les mains de quiconque possède un ordinateur portable ou même un téléphone mobile", avertissent les auteurs.


    Citation Envoyé par Présentation de l'étude
    Les grands modèles de langage (LLM) remodèlent rapidement la vie moderne, faisant progresser des domaines allant des soins de santé à l'éducation et au-delà. Toutefois, ces capacités remarquables s'accompagnent d'une menace importante : la vulnérabilité de ces modèles aux attaques de type "jailbreak". La vulnérabilité fondamentale des LLM aux attaques de type "jailbreak" découle des données mêmes à partir desquelles ils apprennent. Tant que ces données d'apprentissage comprennent des contenus non filtrés, problématiques ou "sombres", les modèles peuvent intrinsèquement apprendre des schémas indésirables ou des faiblesses qui permettent aux utilisateurs de contourner les contrôles de sécurité prévus.

    Notre recherche identifie la menace croissante posée par les LLM sombres - des modèles délibérément conçus sans garde-fous éthiques ou modifiés par des techniques de jailbreak. Dans le cadre de nos recherches, nous avons découvert une attaque universelle de type "jailbreak" qui compromet efficacement plusieurs modèles de pointe, leur permettant de répondre à presque n'importe quelle question et de produire des résultats nuisibles sur demande.

    L'idée principale de notre attaque a été publiée en ligne il y a plus de sept mois. Cependant, de nombreux LLM testés étaient encore vulnérables à cette attaque. Malgré nos efforts de divulgation responsable, les réponses des principaux fournisseurs de LLM étaient souvent inadéquates, ce qui met en évidence une lacune préoccupante dans les pratiques de l'industrie en matière de sécurité de l'IA.

    À mesure que la formation des modèles devient plus accessible et moins chère, et que les LLM à code source ouvert prolifèrent, le risque d'une utilisation abusive généralisée augmente. Sans intervention décisive, les LLM pourraient continuer à démocratiser l'accès à des connaissances dangereuses, posant ainsi des risques plus importants que prévu.
    L'essor des "LLM sombres" et l'absence de réaction de l'industrie

    Le jailbreaking utilise des messages spécialement conçus pour inciter les chatbots à ignorer leurs règles de sécurité. Les modèles d'IA sont programmés avec deux objectifs : aider les utilisateurs et éviter de donner des réponses nuisibles, biaisées ou illégales. Les jailbreaks exploitent cet équilibre en forçant le chatbot à donner la priorité à la serviabilité, parfois à n'importe quel prix.

    Les chercheurs ont mis au point un "jailbreak universel" capable de contourner les mesures de sécurité de plusieurs chatbots de premier plan. Une fois compromis, les systèmes répondaient systématiquement aux questions qu'ils étaient censés rejeter. "Il était choquant de voir en quoi consiste ce système de connaissances", a déclaré le Dr Michael Fire.

    Les modèles fournissaient des guides étape par étape sur des actions illégales, telles que le piratage de réseaux ou la production de drogues. "Ce qui distingue cette menace des risques technologiques précédents, c'est sa combinaison sans précédent d'accessibilité, d'extensibilité et d'adaptabilité", a ajouté le professeur Lior Rokach.

    L'étude s'alarme également de l'émergence de "LLM sombres", des modèles qui sont soit construits sans contrôles de sécurité, soit modifiés pour les désactiver. Certains sont ouvertement présentés en ligne comme des outils d'aide à la cybercriminalité, à la fraude et à d'autres activités illicites. À titre d'exemple, en 2023, un hacker a créé sa propre version de ChatGPT, mais avec un penchant malveillant : WormGPT, un chatbot conçu pour aider les cybercriminels.

    Bien qu'ils aient informé les principaux fournisseurs d'IA de l'existence du jailbreak universel, les chercheurs ont indiqué que la réaction avait été faible. Certaines entreprises n'ont pas répondu, tandis que d'autres ont affirmé que les jailbreaks n'étaient pas couverts par les programmes de bug bounty existants. OpenAI, qui a développé ChatGPT, a déclaré que son modèle le plus récent peut mieux comprendre et appliquer les règles de sécurité, ce qui le rend plus résistant aux jailbreaks. L'entreprise a ajouté qu'elle recherchait activement des moyens d'améliorer la protection. De son côté, Microsoft a réaffirmé ses travaux en matière de sécurité. Tandis que Google, Meta et Anthropic n'ont pas encore fait de commentaires.

    Le rapport recommande aux entreprises technologiques de prendre des mesures plus énergiques, notamment un meilleur contrôle des données de formation, des pare-feu pour bloquer les messages et les réponses nuisibles, et de développer le "désapprentissage automatique" afin d'effacer les connaissances illégales des modèles. Les chercheurs affirment également que les LLM obscurs devraient être traités comme des armes sans licence et que les développeurs doivent être tenus pour responsables.

    Citation Envoyé par Conclusion de l'étude
    Les LLM sont l'une des technologies les plus importantes de notre époque. Leur potentiel bénéfique est immense, mais leur capacité de nuisance l'est tout autant s'ils ne sont pas contrôlés. Sans contrôle, les LLM sombres pourraient démocratiser l'accès à des connaissances dangereuses à une échelle sans précédent, en donnant du pouvoir aux criminels et aux extrémistes du monde entier. Il ne suffit pas de se réjouir des promesses de l'innovation en matière d'IA. Sans une intervention décisive - technique, réglementaire et sociétale - nous risquons de déclencher un avenir où les mêmes outils qui guérissent, enseignent et inspirent peuvent tout aussi bien détruire. Le choix nous appartient. Mais le temps presse.
    À la suite de ce rapport, les experts appellent à un renforcement de la surveillance et de la conception. Le Dr Ihsen Alouani, chercheur en sécurité de l'IA à l'université Queen's de Belfast, a averti que les chatbots jailbreakés pouvaient fournir des instructions pour la fabrication d'armes, diffuser de la désinformation ou organiser des escroqueries sophistiquées.

    "Un élément clé de la solution est que les entreprises investissent plus sérieusement dans les techniques de red teaming et de robustesse au niveau du modèle, plutôt que de s'appuyer uniquement sur des mesures de protection frontales", a-t-il déclaré. "Nous avons également besoin de normes plus claires et d'un contrôle indépendant pour suivre l'évolution du paysage des menaces".

    Le professeur Peter Garraghan, de l'université de Lancaster, s'est fait l'écho de la nécessité de renforcer les mesures de sécurité. "Les organisations doivent traiter les LLM comme n'importe quel autre composant logiciel critique - qui nécessite des tests de sécurité rigoureux, une équipe rouge permanente et une modélisation contextuelle des menaces", a-t-il déclaré. "La sécurité réelle exige non seulement une divulgation responsable, mais aussi des pratiques de conception et de déploiement responsables".

    Outre la menace du jailbreak, la confabulation ou l'hallucination représente également une autre menace pour les LLM. L'hallucination est une tendance des chatbots IA à partager des informations incorrectes tout en les présentant comme faisant autorité. En 2024, la ville de New York a fait face à de sérieux problèmes à cause des réponses incorrectes du chatbot géré par le gouvernement de la ville. Le chatbot IA de New York a incité entre autre les concitoyens à enfreindre les lois et à commettre des délits.

    Source : "Dark LLMs: The Growing Threat of Unaligned AI Models"

    Et vous ?

    Pensez-vous que cette étude est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    Le nouveau jailbreak des LLM exploite leurs capacités d'évaluation pour les contourner. Les chercheurs de Palo Alto exploitent l'échelle de Likert pour contourner les LLM

    Anthropic a mis au point une nouvelle méthode pour protéger les LLM contre les piratages. Cette défense pourrait être la plus puissante à ce jour, mais aucun bouclier n'est parfait

    La méthode "Crescendo" permet de jailbreaker l'IA de type LLM, en utilisant des invites en apparence inoffensives, afin de produire des résultats qui seraient normalement filtrés et refusés
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  15. #75
    Membre émérite
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Mars 2011
    Messages
    615
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mars 2011
    Messages : 615
    Par défaut
    Ce me rappel les début d'internet où on pouvait trouvé facilement des "informations dangereuses et illégales" en tapant 2 ou 3 mots clefs. Puis la surveillance de masse est arrivé et ça s'est calmer.

    La différence, c'est qu'avec un LLM on peut le faire de façon anonyme. Il suffit de download le model en local de façon tout à fait légitime et de trifouiller ses entrail offline
    La perfection est atteinte, non pas lorsqu’il n’y a plus rien à ajouter, mais lorsqu’il n’y a plus rien à retirer. - Antoine de Saint-Exupéry

  16. #76
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    2 809
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 2 809
    Par défaut
    Vous avez remarqué la quantité de gens en ce moment qui zigouillent leur prochain avec un couteau ?

    Ce n'est pas forcément que les gens qui auraient l'idée soient plus nombreux qu'avant, mais l'incitation de la part de la justice est tellement forte que le résultat finit forcément par se faire ressentir.

    En fait c'est peut-être un peu plus compliqué que ça.
    La violence de la société est telle que de plus en plus de gens ne peuvent plus encaisser.
    Il n'en demeure pas moins que j'ai entendu à la radio que les agresseurs de Kim Kardashian ne seront pas emprisonnés. Pourquoi diable d'autres se gêneraient ?

    On lance l'idée comme ça histoire de déconner, et puis comme on risque gros on finit par rire un bon coup et passer à autre chose. Oui, mais après si on ne risque rien ?

    Et alors donc maintenant on a décidé de laisser en ligne un outil qui peut aider à concevoir les pires trucs.

    Euh ... Vous êtes sûrs qu'il n'y a pas un truc qui cloche ?

  17. #77
    Membre émérite
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Mars 2011
    Messages
    615
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mars 2011
    Messages : 615
    Par défaut
    Citation Envoyé par Gluups Voir le message
    Vous avez remarqué la quantité de gens en ce moment qui zigouillent leur prochain avec un couteau ?
    A mitiger: https://fr.wikipedia.org/wiki/Taux_d...3%A9_en_France

    "Le taux d'homicide en France a été divisé par 2 depuis 1990 et est stable depuis 2015".

    "Le taux d'agressions graves est en augmentation constante depuis 2003. Cependant, comme l’expliquent les chercheurs du CESDIP (Centre de recherches sociologiques sur le droit et les institutions pénales), cette situation est, pour l’essentiel, le résultat d’un durcissement de la loi : de plus en plus d’infractions sont comptabilisées comme des délits alors qu’elles ne l’étaient pas auparavant."

    C'est sûre, c'est pas l'impression qu'on a si on regarde BFM.
    La perfection est atteinte, non pas lorsqu’il n’y a plus rien à ajouter, mais lorsqu’il n’y a plus rien à retirer. - Antoine de Saint-Exupéry

Discussions similaires

  1. Réponses: 10
    Dernier message: 14/11/2024, 14h14
  2. Réponses: 0
    Dernier message: 21/05/2024, 17h07
  3. Réponses: 7
    Dernier message: 19/08/2020, 09h46
  4. Réponses: 6
    Dernier message: 23/11/2018, 14h50
  5. Réponses: 0
    Dernier message: 05/04/2016, 18h44

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo