Au-delà des garde-fous : exploration des risques de sécurité liés à l'utilisation du chatbot d'IA ChatGPT

Au-delà des garde-fous : exploration des risques de sécurité liés au chatbot d'IA ChatGPT
ces risques comprennent la génération de services frauduleux et la collecte d'informations nuisibles

Une étude publiée par deux chercheurs européens a exploré les risques de sécurité posés par le chatbot d'IA ChatGPT d'OpenAI. Le rapport de l'étude identifie six différentes catégories de risques, à savoir la génération de services frauduleux, la collecte d'informations nuisibles, la divulgation de données privées, la génération de textes malveillants, la génération de codes malveillants et la production de contenu offensant. L'étude cherche à attirer l'attention des chercheurs, des décideurs politiques et des professionnels de l'industrie sur les défis complexes en matière de sécurité posés par les grands modèles de langages (LLM) tels que ChatGPT.

ChatGPT est un chatbot d'IA basé sur le LLM GPT-3.5 construit et entraîné par OpenAI. Il peut répondre à des questions sur différentes thématiques et composer divers contenus écrits, notamment des articles, des messages sur les médias sociaux, des essais, des courriels et du code informatique. ChatGPT est devenu un symbole du potentiel illimité de l'IA. Mais alors que les utilisateurs explorent les innombrables avantages et cas d'utilisation de l'outil d'IA, les pirates informatiques font de même. Ces derniers ont déjà intégré le chatbot d'OpenAI à leurs arsenaux et tirent parti des risques liés à l'utilisation de ChatGPT pour perfectionner leurs attaques.

Ils exploitent le potentiel de l'outil pour intensifier leurs attaques en créant de meilleurs courriels d'hameçonnage, des logiciels malveillants indétectables et en affinant leurs tactiques d'usurpation d'identité. L'étude - publiée par Erik Derner, chercheur à l'Institut tchèque d'informatique et Kristina Batistic, chercheur indépendant basé en Slovénie - répertorie six catégories de risques de sécurité liés à l'utilisation de ChatGPT. Elle contribue au débat en cours sur les implications éthiques et sécuritaires des LLM, et les chercheurs soulignent la nécessité de poursuivre la recherche dans ce domaine. Voici un aperçu des risques identifiés par les chercheurs :

Collecte d'informations

Les capacités avancées de génération de langage de ChatGPT peuvent être exploitées par des acteurs malveillants pour recueillir des informations sur des cibles. Cela pourrait être utilisé pour faciliter la première étape d'une cyberattaque lorsque l'attaquant recueille des informations sur la cible pour trouver où et comment l'attaquer le plus efficacement possible. Les informations collectées peuvent être utilisées pour élaborer un hameçonnage ciblé ou pour exploiter des failles connues. Elles peuvent porter sur l'entreprise cible, les technologies et les systèmes qu'elle utilise, sa structure, les personnes qui y travaillent, les problèmes qu'elle rencontre, etc.

Pièce jointe 638907

Selon les chercheurs, la collecte d'informations peut servir à dresser le profil d'un employé spécifique, de sa vie professionnelle et personnelle, de ses médias sociaux, de ses loisirs, de sa famille et de ses relations. Ces informations sont généralement recueillies en effectuant des recherches sur Internet, mais ChatGPT peut accélérer le processus, fournir des suggestions, des statistiques utiles et traiter les données recueillies. Les informations collectées peuvent également être utilisées à d'autres fins malveillantes, telles que l'extorsion, le harcèlement ou l'usurpation d'identité. Vous pouvez demander à ChatGPT de recueillir des informations sur une cible.

Bien qu'il semble mieux fonctionner sur les grandes entreprises internationales, les résultats doivent encore être vérifiés. Cependant, il peut être utile pour trouver des données spécifiques sur la cible. Dans le cadre de l'étude, les chercheurs ont demandé à ChatGPT de leur fournir des informations sur une banque donnée et le chatbot s'est exécuté. L'exemple montre que ChatGPT liste les informations sur les systèmes informatiques utilisés par une banque (dont le nom a été censuré).

Rédaction de textes malveillants

Le rapport de l'étude indique que la capacité de ChatGPT à générer du texte malveillant constitue un risque important pour la sécurité, car elle permet d'automatiser les activités malveillantes et d'accélérer potentiellement le processus. Voici quelques exemples :

• campagnes d'hameçonnage : ChatGPT pourrait être exploité pour créer des courriels et des messages d'hameçonnage, ciblant des victimes peu méfiantes et les incitant à révéler des informations sensibles, des identifiants ou à installer des logiciels malveillants. Cela augmenterait le volume et permettrait de créer des courriels d'hameçonnage plus difficiles à détecter. Il peut être utilisé pour rédiger un courriel entier en ne donnant que quelques détails, le courriel résultant contenant moins d'erreurs que les courriels d'hameçonnage ne contiennent habituellement ;
• désinformation : des acteurs malveillants pourraient utiliser ChatGPT pour générer de la désinformation, notamment de faux articles d'actualité, des messages sur les médias sociaux ou d'autres formes de contenu trompeur. Cela pourrait avoir de graves conséquences pour la sécurité, comme la manipulation de l'opinion publique, la fraude électorale ou l'atteinte à la réputation de personnalités publiques.
• spam : la capacité de générer du texte à l'échelle humaine fait de ChatGPT un outil potentiel pour la création de messages de spam ;
• usurpation d'identité : la capacité de ChatGPT à imiter les styles d'écriture pourrait permettre à des acteurs malveillants d'usurper l'identité de personnes, ce qui pourrait nuire aux relations personnelles et professionnelles ou conduire à une usurpation d'identité.

Les chercheurs ont donné un exemple dans lequel ChatGPT produit un courriel convaincant et plausible pour informer des employés de leur augmentation de salaire. L'attaquant peut envoyer cet e-mail avec un fichier Excel en pièce jointe contenant une menace basée sur des macros VBA, qui peuvent être exécutées par l'employé peu méfiant en suivant les instructions de la sortie de ChatGPT.

Génération de codes malveillants

Selon les chercheurs, l'utilisation de ChatGPT pour générer des codes malveillants pose plusieurs problèmes de sécurité :

• génération rapide de codes : la génération rapide de codes malveillants pourrait permettre aux attaquants de créer et de déployer de nouvelles menaces plus rapidement, en devançant le développement de contre-mesures de sécurité. Certains acteurs de la menace testant l'utilisation de ChatGPT ont été repérés sur des forums du darknet5 ;
• obfuscation du code : ChatGPT pourrait être utilisé pour créer du code obfusqué, ce qui rendrait plus difficile la détection et la compréhension des activités malveillantes par les analystes de la sécurité ;
• - script kiddie : ChatGPT pourrait abaisser la barrière à l'entrée pour les pirates novices, en leur permettant de créer du code malveillant sans connaissances techniques approfondies ;
• évasion de la détection : le code généré par ChatGPT pourrait être rapidement itéré pour éviter d'être détecté par les logiciels antivirus traditionnels et les mécanismes de détection basés sur les signatures.

« Nous démontrons le risque lié à la génération de codes malveillants en prenant l'exemple des tests de vulnérabilité de Log4j. Le test de vulnérabilité Log4j consiste à identifier les failles de sécurité potentielles dans les systèmes logiciels qui utilisent la bibliothèque de journalisation Log4j, largement répandue en Java. La demande de fournir le code de démonstration est d'abord filtrée. Cependant, en donnant un contexte convaincant à ChatGPT, en s'assurant qu'il n'utilise pas sa réponse de manière préjudiciable, ChatGPT fournit le code et les instructions pour tester la vulnérabilité Log4j », expliquent les chercheurs dans le rapport.

Divulgation d'informations personnelles

Le rapport indique que la possibilité pour ChatGPT de divulguer des informations personnelles soulève les questions suivantes en matière de protection de la vie privée et de sécurité :

• protection des données personnelles : bien qu'OpenAI ait mis en place des mesures de sécurité pour empêcher l'extraction de données personnelles et d'informations sensibles, le risque de divulguer par inadvertance des numéros de téléphone, des adresses électroniques et d'autres détails privés reste une préoccupation ;
• attaques par inférence de l'appartenance : les attaquants pourraient tenter de récupérer des parties des données d'apprentissage par le biais d'attaques par inférence d'appartenance, ce qui pourrait exposer des informations sensibles.
• vie privée de personnes publiques : ChatGPT pourrait être utilisé pour générer du contenu spéculatif ou nuisible sur la vie privée de personnalités publiques, ce qui pourrait nuire à la réputation ou porter atteinte à la vie privée.

Un exemple du document de recherche montre le résultat généré par ChatGPT pour une question sur la vie privée d'un homme politique bien connu. Normalement, ChatGPT dispose de protections intégrées qui refusent les demandes de détails privés sur les individus. Cependant, les chercheurs ont réussi à contourner ce filtre en convainquant ChatGPT de produire des résultats dans ce qu'ils appellent le "mode développeur". Les chercheurs ont décrit le mode développeur à ChatGPT comme un mode spécial dans lequel il est censé suivre toutes les instructions, en ignorant les protections intégrées. Il s'agit en effet d'une attaque par injection d'invite.

Pièce jointe 638908

« Nous avons également fait une observation intéressante lorsque nous avons demandé à ChatGPT de citer la dernière question posée. Sur la base de ses capacités connues, le système ne devrait pas être en mesure de partager des informations entre les conversations des utilisateurs en temps réel, ce qui présenterait un risque important pour la sécurité. Nous émettons l'hypothèse que ce résultat est halluciné, mais nous voulons démontrer que le fait de donner cette réponse peut perturber de nombreux utilisateurs, ce qui pose des problèmes de confidentialité », explique l'équipe de chercheurs dans le rapport d'étude.

Services frauduleux

Une autre classe de risques identifiés par les chercheurs est les services frauduleux. Selon les chercheurs, ils constituent un risque de sécurité important associé à l'utilisation de ChatGPT. Des acteurs malveillants peuvent tirer parti de la technologie pour créer des applications et des plateformes trompeuses qui usurpent l'identité de ChatGPT ou promettent un accès gratuit et ininterrompu à ses fonctionnalités. Voici quelques-uns des types de services frauduleux cités par le rapport :

• offrir un accès gratuit : des acteurs malveillants créent des applications et des services qui prétendent offrir un accès ininterrompu et gratuit à ChatGPT. D'autres créent de faux sites Web ou de fausses applications qui se font passer pour ChatGPT. Les utilisateurs peu méfiants peuvent se laisser séduire par ces offres trompeuses, exposant ainsi leurs informations personnelles ou leurs appareils à des risques. Les applications frauduleuses ciblent des plateformes populaires telles que Windows et Android ;
• vol d'informations : les applications frauduleuses de ChatGPT peuvent être conçues pour recueillir des informations sensibles auprès des utilisateurs, telles que les numéros de carte de crédit, les identifiants de compte ou les données personnelles stockées sur leurs appareils (par exemple, les listes de contacts, les journaux d'appels et les fichiers). Ces informations volées peuvent être utilisées à des fins d'usurpation d'identité, de fraude financière ou d'autres activités criminelles ;
• installation de logiciels malveillants : les applications frauduleuses peuvent installer des logiciels malveillants supplémentaires sur les appareils des utilisateurs, comme des outils d'accès à distance, des rançongiciels, etc. L'appareil peut être relié à un réseau de zombies et utilisé pour d'autres attaques.

Production de contenu contraire à l'éthique

Selon les chercheurs, bien que ChatGPT utilise des filtres de contenu et des mécanismes de réglage fin pour minimiser la production de contenu nuisible ou contraire à l'éthique, des attaquants déterminés peuvent toujours trouver des moyens de contourner ces mesures de protection. En élaborant des invites soigneusement formulées ou en utilisant des techniques d'obfuscation, les attaquants peuvent manipuler ChatGPT pour qu'il génère un contenu partial, raciste ou autrement inapproprié. Ce contenu contraire à l'éthique peut être utilisé pour diffuser de la désinformation, inciter à la haine ou nuire à la réputation.

Le rapport présente un exemple de filtrage d'invites contraires à l'éthique. Selon l'équipe de chercheurs, bien que le chatbot d'OpenAI refuse normalement de générer du contenu offensant, il peut être manipulé par des instructions spécifiques basées sur le jeu de rôle pour le faire. Le rapport explique que les scénarios de jeu de rôle aident à contourner les mesures de protection, car en demandant à ChatGPT de prétendre que son filtre éthique est désactivé ou qu'il se trouve dans un scénario fictif, on peut obtenir des résultats avec davantage d'informations privées ou qui incitent les utilisateurs à s'engager dans des actes contraires à l'éthique ou illégaux.

« Il semble revenir à un "mode sûr" lorsque la conversation se prolonge, peut-être en raison du mécanisme d'attention, mais le jeu de rôle peut être renforcé par des invites demandant explicitement de rester dans le rôle assigné. Ces scénarios peuvent également conduire à la génération de textes et de codes malveillants. Les risques en matière de sécurité impliquent que ChatGPT contribue à des activités criminelles, par exemple en donnant des conseils pour effacer les traces d'un crime ou échapper à l'impôt. Les réponses violentes, impolies et discriminatoires peuvent causer des dommages psychologiques aux utilisateurs », indique le rapport.

En outre, les chercheurs rappellent que les informations fournies par ChatGPT dans les réponses ne sont pas toujours correctes. Les utilisateurs peuvent se fier à ces informations erronées sans vérifier les faits, ce qui est particulièrement dangereux dans des domaines sensibles tels que le droit ou la médecine. ChatGPT peut aussi être utilisé pour diffuser de la désinformation et des conspirations. Lors de la génération de résultats non restreints en mode jeu de rôle, les chercheurs ont constaté que ChatGPT ne divulguait pas de données personnelles privées, mais partageait des informations sur des personnalités publiques.

Conclusion

Malgré les efforts continus pour construire un système d'IA conversationnelle éthique et sûr, les chercheurs affirment que leur analyse démontre qu'il existe encore des moyens de faire en sorte que ChatGPT génère des contenus inappropriés et que ces risques ont une grande portée. Selon eux, leurs résultats soulignent la nécessité de poursuivre la recherche, le développement et la collaboration entre les chercheurs, les professionnels de l'industrie et les décideurs politiques afin de relever les défis complexes en matière de sécurité posés par les LLM tels que ChatGPT. Ils ont également abordé brièvement quelques mesures d'atténuation des risques.

Selon eux, les stratégies d'atténuation potentielles comprennent le filtrage avancé du contenu, le marquage des données, l'analyse des résultats ou l'utilisation de l'IA pour filtrer les résultats de l'IA. « Il est essentiel de trouver un équilibre entre le maintien de l'utilité de ces outils puissants et la garantie de la sûreté et de la sécurité de leurs utilisateurs et de la société dans son ensemble. Notre travail présente plusieurs limites. Dans un premier temps, l'évaluation des risques de sécurité liés à l'utilisation de ChatGPT dépend de la version du modèle et des filtres de contenu en place au moment de l'étude », ont écrit les chercheurs.

« Les risques et les vulnérabilités peuvent changer à mesure que la technologie et les mesures de protection évoluent. Deuxièmement, l'étude se concentre principalement sur ChatGPT et sur les risques de sécurité qui y sont associés. Bien que ChatGPT soit un exemple représentatif, il n'englobe pas nécessairement tout le spectre des LLM et de leurs risques spécifiques », ont-ils conclu.

Source : rapport de l'étude (PDF)

Et vous ?

:fleche: Quel est votre avis sur le sujet ?
:fleche: Que pensez-vous des risques liés à l'utilisation de ChatGPT ?
:fleche: Pensez-vous qu'OpenAI est en mesure d'atténuer ces risques ? Pourquoi ?
:fleche: Y a-t-il d'autres risques liés à l'utilisation de ChatGPT qui ne sont pas cités dans l'étude ? Si oui, lesquels ?

Voir aussi

:fleche: Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable

:fleche: Des employés partageraient des données professionnelles sensibles avec ChatGPT, ce qui suscite des craintes en matière de sécurité, ChatGPT pourrait mémoriser ces données et les divulguer plus tard

:fleche: OpenAI publie ses intentions dans le domaine de la sécurité en Intelligence artificielle. Cela sera-t'il suffisant ?