Discussion :

[Jade Emy]

Des chercheurs ont découvert que le modèle d'IA GPT-4 d'OpenAI est capable de pirater des sites web et de voler des informations dans des bases de données en ligne sans aide humaine.

Des chercheurs ont démontré que les grands modèles de langage sont capables de pirater des sites web de manière autonome, en effectuant des tâches complexes sans connaissance préalable de la vulnérabilité. Le modèle GPT-4 d'OpenAI pouvait pirater 73 % des sites web lors de l'étude. Cette étude rappelle la nécessité pour les fournisseurs de LLM de réfléchir soigneusement au déploiement et à la publication des modèles.

Les modèles d'IA, qui font l'objet de préoccupations constantes en matière de sécurité concernant les résultats nuisibles et biaisés, présentent un risque qui va au-delà de l'émission de contenu. Lorsqu'ils sont associés à des outils permettant une interaction automatisée avec d'autres systèmes, ils peuvent agir seuls comme des agents malveillants.

Des informaticiens affiliés à l'université de l'Illinois Urbana-Champaign (UIUC) l'ont démontré en utilisant plusieurs grands modèles de langage (LLM) pour compromettre des sites web vulnérables sans intervention humaine. Des recherches antérieures suggèrent que les LLM peuvent être utilisés, malgré les contrôles de sécurité, pour aider à la création de logiciels malveillants.

Les chercheurs Richard Fang, Rohan Bindu, Akul Gupta, Qiusi Zhan et Daniel Kang sont allés plus loin et ont montré que les agents alimentés par des LLM - des LLM dotés d'outils d'accès aux API, de navigation web automatisée et de planification basée sur le retour d'information - peuvent se promener seuls sur le web et s'introduire dans des applications web boguées sans surveillance. Ils décrivent leurs résultats dans un article intitulé "LLM Agents can Autonomously Hack Websites" (Les agents LLM peuvent pirater des sites web de manière autonome).

Les chercheurs résument leurs travaux en expliquant :

Ces dernières années, les grands modèles de langage (LLM) sont devenus de plus en plus performants et peuvent désormais interagir avec des outils (c'est-à-dire appeler des fonctions), lire des documents et s'appeler eux-mêmes de manière récursive. Par conséquent, ces LLM peuvent désormais fonctionner de manière autonome en tant qu'agents. Avec l'augmentation des capacités de ces agents, des travaux récents ont spéculé sur la manière dont les agents LLM affecteraient la cybersécurité. Cependant, on ne sait pas grand-chose des capacités offensives des agents LLM.

Dans ce travail, nous montrons que les agents LLM peuvent pirater des sites web de manière autonome, en effectuant des tâches aussi complexes que l'extraction aveugle de schémas de base de données et les injections SQL sans retour d'information de la part de l'homme. Il est important de noter que l'agent n'a pas besoin de connaître la vulnérabilité à l'avance. Cette capacité est rendue possible de manière unique par les modèles de frontière qui sont hautement capables d'utiliser des outils et de tirer parti d'un contexte étendu. Nous montrons notamment que GPT-4 est capable de tels piratages, ce qui n'est pas le cas des modèles open-source existants. Enfin, nous montrons que GPT-4 est capable de trouver de manière autonome des vulnérabilités dans des sites web en pleine nature. Nos résultats soulèvent des questions sur le déploiement à grande échelle des LLM.

Des agents LLM autonomes capables de pirater des sites web

Les grands modèles de langage (LLM) sont devenus de plus en plus performants, avec des avancées récentes permettant aux LLM d'interagir avec des outils via des appels de fonction, de lire des documents et de s'auto-inviter récursivement. Collectivement, ces éléments permettent aux LLM de fonctionner de manière autonome en tant qu'agents. Par exemple, les agents LLM peuvent contribuer à la découverte scientifique.

Ces agents LLM devenant plus performants, des travaux récents ont spéculé sur le potentiel des LLM et des agents LLM à contribuer à l'offensive et à la défense en matière de cybersécurité. Malgré ces spéculations, on sait peu de choses sur les capacités des agents LLM en matière de cybersécurité. Par exemple, des travaux récents ont montré que les LLM peuvent être incités à générer des logiciels malveillants simples, mais n'ont pas exploré les agents autonomes.

L'image suivant présente le schéma de l'utilisation d'agents LLM autonomes pour pirater des sites web :

Les agents LLM peuvent pirater des sites web de manière autonome, en effectuant des tâches complexes sans connaissance préalable de la vulnérabilité. Par exemple, ces agents peuvent effectuer des attaques complexes de type SQL union, qui impliquent un processus en plusieurs étapes (38 actions) d'extraction d'un schéma de base de données, d'extraction d'informations de la base de données basée sur ce schéma, et d'exécution du piratage final. L'agent le plus performant peut pirater 73,3 % (11 sur 15, réussite à 5) des vulnérabilités testées, ce qui montre les capacités de ces agents. Il est important de noter que l'agent LLM est capable de trouver des vulnérabilités dans des sites Web du monde réel.

Pour donner à ces agents LLM la capacité de pirater des sites web de manière autonome, ils leur ont donné la possibilité de lire des documents, d'appeler des fonctions pour manipuler un navigateur web et récupérer des résultats, et d'accéder au contexte des actions précédentes. Ils ont fourni en outre à l'agent LLM des instructions détaillées sur le système. Ces capacités sont désormais largement disponibles dans les API standard, telles que la nouvelle API OpenAI Assistants. Par conséquent, ces capacités peuvent être mises en œuvre en seulement 85 lignes de code avec des outils standard.

Les résultats ont montré que ces capacités permettent au modèle le plus performant au moment de la rédaction (GPT-4) de pirater des sites web de manière autonome. De manière incroyable, GPT-4 peut effectuer ces piratages sans connaissance préalable de la vulnérabilité spécifique. Tous les composants sont nécessaires pour obtenir des performances élevées, le taux de réussite chutant à 13 % lorsque l'on supprime des composants.

Taux de réussite du GPT-4 par vulnérabilité

Les résultats ont montré également que le piratage des sites web a une forte loi d'échelle, le taux de réussite de GPT-3.5 tombant même à 6,7 % (1 vulnérabilité sur 15). Cette loi d'échelle se poursuit pour les modèles open-source, chaque modèle open-source testé atteignant un taux de réussite de 0 %.

L'étude a également analysé le coût du piratage autonome de sites web. Si l'on tient compte des échecs dans le coût total, la tentative de piratage d'un site web coûte environ 9,81 dollars. Bien que coûteux, ce coût est probablement beaucoup moins élevé que l'effort humain (qui peut coûter jusqu'à 80 dollars).

Conclusion

Cette recherche montre que les agents LLM peuvent pirater des sites web de manière autonome, sans connaître la vulnérabilité à l'avance. L'agent le plus performant peut même trouver de manière autonome des vulnérabilités dans des sites Web du monde réel. Les résultats montrent en outre des lois d'échelle fortes avec la capacité des LLM à pirater des sites web : GPT-4 peut pirater 73 % des sites web construits pour l'étude, contre 7 % pour GPT-3.5 et 0 % pour tous les modèles open-source. Le coût de ces piratages par des agents LLM est probablement beaucoup moins élevé que le coût d'un analyste en cybersécurité.

Combinés, ses résultats montrent la nécessité pour les fournisseurs de LLM de réfléchir soigneusement au déploiement et à la publication des modèles. On peut souligner deux résultats importants. Tout d'abord, l'étude constate que tous les modèles open-source existants sont incapables de pirater de manière autonome, mais que les modèles frontières (GPT-4, GPT-3.5) le sont. Deuxièmement, les chercheurs pensent que ces résultats sont les premiers exemples de dommages concrets causés par les modèles frontières. Compte tenu de ces résultats, ils espèrent que les fournisseurs de modèles open source et fermé examineront attentivement les politiques de diffusion des modèles frontières.

Source : "LLM Agents can Autonomously Hack Websites"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

55 % des hackers estiment que l'IA sera meilleure que le hacker moyen d'ici cinq ans, alors que 72 % pensent que l'IA générative ne sera pas en mesure de reproduire la créativité des hackers humains

Découvrir les attaques par courrier électronique générées par l'IA : exemples réels de 2023. Découvrez comment les pirates utilisent l'IA générative pour contourner la sécurité et tromper les employés

Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable

[vVDB.fr]

Tous les sites vont être testé automatiquement, c'est vraiment de la sécurité de haut niveau.
Qui veut monter une startup avec moi.
Un label triple A pour exemple pour les sites qui sont correctement programmé. Avec zero réussite de l'automate.

[Dominik94]

en bref, c'est une attaque par brute force, donc ce qui se fait depuis des années, quand on voit dans ses logs des recherches d'uri wordpress alors même qu'on n'a pas de site wordpress.
Sauf que là, même plus besoin de s'y connaitre un minimum pour le faire.
Mais si on a sécurisé ses sites, cela ne devrait rien changer. Dans le cas contraire, ça devrait augmenter fortement le nombre de personnes qui auraient eu un accès non autorisé aux sites gérés

[MOUHADDIB]

Cela pourrait aussi avoir un impact positif sur la sécurité minimale d'un site ...

[Jade Emy]

Le grand modèle de langage GPT-4 d'OpenAI peut exploiter de manière autonome des vulnérabilités dans des systèmes du monde réel en lisant des avis de sécurité, si on lui donne un avis CVE décrivant la faille.

Des agents d'IA, qui combinent de grands modèles de langage avec des logiciels d'automatisation, peuvent exploiter avec succès des vulnérabilités de sécurité dans le monde réel en lisant des avis de sécurité.

Dans un article récemment publié, quatre informaticiens de l'Université de l'Illinois Urbana-Champaign (UIUC) - Richard Fang, Rohan Bindu, Akul Gupta et Daniel Kang - rapportent que le grand modèle de langage (LLM) GPT-4 d'OpenAI peut exploiter de manière autonome des vulnérabilités dans des systèmes réels s'il reçoit un avis CVE décrivant la faille.

"Pour le démontrer, nous avons collecté un ensemble de données de 15 vulnérabilités d'un jour qui comprennent celles classées comme critiques dans la description du CVE", expliquent les auteurs basés aux États-Unis dans leur article. "Lorsqu'il reçoit la description CVE, GPT-4 est capable d'exploiter 87 % de ces vulnérabilités, contre 0 % pour tous les autres modèles que nous avons testés (GPT-3.5, LLM open-source) et les scanners de vulnérabilités open-source (ZAP et Metasploit)."

Les travaux des chercheurs s'appuient sur des résultats antérieurs montrant que les LLM peuvent être utilisés pour automatiser des attaques contre des sites web dans un environnement sandbox. Selon Daniel Kang, professeur adjoint à l'UIUC, GPT-4 "peut en fait exécuter de manière autonome les étapes permettant de réaliser certains exploits que les scanners de vulnérabilités open-source ne peuvent pas trouver".

Les chercheurs ont écrit que "nos vulnérabilités couvrent les vulnérabilités des sites web, les vulnérabilités des conteneurs et les paquets Python vulnérables. Plus de la moitié d'entre elles sont classées comme étant de gravité "élevée" ou "critique" par la description CVE."

Kang et ses collègues ont calculé le coût d'une attaque réussie par un agent LLM et sont arrivés à un chiffre de 8,80 dollars par exploit.

Les agents LLM peuvent exploiter de manière autonome les vulnérabilités

Les LLM sont de plus en plus puissants, tant dans leurs utilisations bénignes que malveillantes. Avec l'augmentation des capacités, les chercheurs s'intéressent de plus en plus à leur capacité à exploiter les vulnérabilités en matière de cybersécurité. En particulier, des travaux récents ont mené des études préliminaires sur la capacité des agents LLM à pirater des sites web de manière autonome.

Toutefois, ces études se limitent à des vulnérabilités simples. Dans cette étude, les chercheurs montrent que les agents LLM peuvent exploiter de manière autonome des vulnérabilités d'un jour dans des systèmes du monde réel. Pour ce faire, ils ont collecté un ensemble de données de 15 vulnérabilités d'un jour qui comprennent celles classées comme critiques dans la description du CVE.

Lorsqu'il reçoit la description CVE, GPT-4 est capable d'exploiter 87 % de ces vulnérabilités, contre 0 % pour tous les autres modèles testés (GPT-3.5, LLMs open-source) et les scanners de vulnérabilités open-source (ZAP et Metasploit). Heureusement, l'agent GPT-4 a besoin de la description du CVE pour être performant : sans la description, GPT-4 ne peut exploiter que 7 % des vulnérabilités. Ces résultats soulèvent des questions quant au déploiement à grande échelle d'agents LLM hautement performants.

Conclusions

La recherche montre que les agents LLM sont capables d'exploiter de manière autonome les vulnérabilités d'un jour du monde réel. Actuellement, seul GPT-4 avec la description CVE est capable d'exploiter ces vulnérabilités. Ces résultats montrent à la fois la possibilité d'une capacité émergente et le fait qu'il est plus difficile de découvrir une vulnérabilité que de l'exploiter.

Néanmoins, ces résultats soulignent la nécessité pour l'ensemble de la communauté de la cybersécurité et les fournisseurs de LLM de réfléchir attentivement à la manière d'intégrer les agents LLM dans les mesures défensives et à leur déploiement à grande échelle.

Source : "LLM Agents can Autonomously Exploit One-day Vulnerabilities"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Des chercheurs ont découvert que le modèle d'IA GPT-4 d'OpenAI est capable de pirater des sites web et de voler des informations dans des bases de données en ligne sans aide humaine

88 % des professionnels de la cybersécurité estiment que l'IA aura un impact significatif sur leur travail, aujourd'hui ou dans un avenir proche, selon une enquête de l'ISC2

L'utilisation de l'IA par les pirates informatiques a entraîné une hausse considérable de la cybercriminalité, dont le coût pour les internautes devrait atteindre 9 220 milliards de dollars en 2024

[Angefeux]

Il serait quand même mieux soucieux d'apprendre donc à l'intelligence artificiel qui soit capable de déceler des faille de pouvoir re-conformer les programmes en circonstance des menaces.