Discussion :

[Jade Emy]

Des chercheurs ont découvert que le modèle d'IA GPT-4 d'OpenAI est capable de pirater des sites web et de voler des informations dans des bases de données en ligne sans aide humaine.

Des chercheurs ont démontré que les grands modèles de langage sont capables de pirater des sites web de manière autonome, en effectuant des tâches complexes sans connaissance préalable de la vulnérabilité. Le modèle GPT-4 d'OpenAI pouvait pirater 73 % des sites web lors de l'étude. Cette étude rappelle la nécessité pour les fournisseurs de LLM de réfléchir soigneusement au déploiement et à la publication des modèles.

Les modèles d'IA, qui font l'objet de préoccupations constantes en matière de sécurité concernant les résultats nuisibles et biaisés, présentent un risque qui va au-delà de l'émission de contenu. Lorsqu'ils sont associés à des outils permettant une interaction automatisée avec d'autres systèmes, ils peuvent agir seuls comme des agents malveillants.

Des informaticiens affiliés à l'université de l'Illinois Urbana-Champaign (UIUC) l'ont démontré en utilisant plusieurs grands modèles de langage (LLM) pour compromettre des sites web vulnérables sans intervention humaine. Des recherches antérieures suggèrent que les LLM peuvent être utilisés, malgré les contrôles de sécurité, pour aider à la création de logiciels malveillants.

Les chercheurs Richard Fang, Rohan Bindu, Akul Gupta, Qiusi Zhan et Daniel Kang sont allés plus loin et ont montré que les agents alimentés par des LLM - des LLM dotés d'outils d'accès aux API, de navigation web automatisée et de planification basée sur le retour d'information - peuvent se promener seuls sur le web et s'introduire dans des applications web boguées sans surveillance. Ils décrivent leurs résultats dans un article intitulé "LLM Agents can Autonomously Hack Websites" (Les agents LLM peuvent pirater des sites web de manière autonome).

Les chercheurs résument leurs travaux en expliquant :

Ces dernières années, les grands modèles de langage (LLM) sont devenus de plus en plus performants et peuvent désormais interagir avec des outils (c'est-à-dire appeler des fonctions), lire des documents et s'appeler eux-mêmes de manière récursive. Par conséquent, ces LLM peuvent désormais fonctionner de manière autonome en tant qu'agents. Avec l'augmentation des capacités de ces agents, des travaux récents ont spéculé sur la manière dont les agents LLM affecteraient la cybersécurité. Cependant, on ne sait pas grand-chose des capacités offensives des agents LLM.

Dans ce travail, nous montrons que les agents LLM peuvent pirater des sites web de manière autonome, en effectuant des tâches aussi complexes que l'extraction aveugle de schémas de base de données et les injections SQL sans retour d'information de la part de l'homme. Il est important de noter que l'agent n'a pas besoin de connaître la vulnérabilité à l'avance. Cette capacité est rendue possible de manière unique par les modèles de frontière qui sont hautement capables d'utiliser des outils et de tirer parti d'un contexte étendu. Nous montrons notamment que GPT-4 est capable de tels piratages, ce qui n'est pas le cas des modèles open-source existants. Enfin, nous montrons que GPT-4 est capable de trouver de manière autonome des vulnérabilités dans des sites web en pleine nature. Nos résultats soulèvent des questions sur le déploiement à grande échelle des LLM.

Des agents LLM autonomes capables de pirater des sites web

Les grands modèles de langage (LLM) sont devenus de plus en plus performants, avec des avancées récentes permettant aux LLM d'interagir avec des outils via des appels de fonction, de lire des documents et de s'auto-inviter récursivement. Collectivement, ces éléments permettent aux LLM de fonctionner de manière autonome en tant qu'agents. Par exemple, les agents LLM peuvent contribuer à la découverte scientifique.

Ces agents LLM devenant plus performants, des travaux récents ont spéculé sur le potentiel des LLM et des agents LLM à contribuer à l'offensive et à la défense en matière de cybersécurité. Malgré ces spéculations, on sait peu de choses sur les capacités des agents LLM en matière de cybersécurité. Par exemple, des travaux récents ont montré que les LLM peuvent être incités à générer des logiciels malveillants simples, mais n'ont pas exploré les agents autonomes.

L'image suivant présente le schéma de l'utilisation d'agents LLM autonomes pour pirater des sites web :

Les agents LLM peuvent pirater des sites web de manière autonome, en effectuant des tâches complexes sans connaissance préalable de la vulnérabilité. Par exemple, ces agents peuvent effectuer des attaques complexes de type SQL union, qui impliquent un processus en plusieurs étapes (38 actions) d'extraction d'un schéma de base de données, d'extraction d'informations de la base de données basée sur ce schéma, et d'exécution du piratage final. L'agent le plus performant peut pirater 73,3 % (11 sur 15, réussite à 5) des vulnérabilités testées, ce qui montre les capacités de ces agents. Il est important de noter que l'agent LLM est capable de trouver des vulnérabilités dans des sites Web du monde réel.

Pour donner à ces agents LLM la capacité de pirater des sites web de manière autonome, ils leur ont donné la possibilité de lire des documents, d'appeler des fonctions pour manipuler un navigateur web et récupérer des résultats, et d'accéder au contexte des actions précédentes. Ils ont fourni en outre à l'agent LLM des instructions détaillées sur le système. Ces capacités sont désormais largement disponibles dans les API standard, telles que la nouvelle API OpenAI Assistants. Par conséquent, ces capacités peuvent être mises en œuvre en seulement 85 lignes de code avec des outils standard.

Les résultats ont montré que ces capacités permettent au modèle le plus performant au moment de la rédaction (GPT-4) de pirater des sites web de manière autonome. De manière incroyable, GPT-4 peut effectuer ces piratages sans connaissance préalable de la vulnérabilité spécifique. Tous les composants sont nécessaires pour obtenir des performances élevées, le taux de réussite chutant à 13 % lorsque l'on supprime des composants.

Taux de réussite du GPT-4 par vulnérabilité

Les résultats ont montré également que le piratage des sites web a une forte loi d'échelle, le taux de réussite de GPT-3.5 tombant même à 6,7 % (1 vulnérabilité sur 15). Cette loi d'échelle se poursuit pour les modèles open-source, chaque modèle open-source testé atteignant un taux de réussite de 0 %.

L'étude a également analysé le coût du piratage autonome de sites web. Si l'on tient compte des échecs dans le coût total, la tentative de piratage d'un site web coûte environ 9,81 dollars. Bien que coûteux, ce coût est probablement beaucoup moins élevé que l'effort humain (qui peut coûter jusqu'à 80 dollars).

Conclusion

Cette recherche montre que les agents LLM peuvent pirater des sites web de manière autonome, sans connaître la vulnérabilité à l'avance. L'agent le plus performant peut même trouver de manière autonome des vulnérabilités dans des sites Web du monde réel. Les résultats montrent en outre des lois d'échelle fortes avec la capacité des LLM à pirater des sites web : GPT-4 peut pirater 73 % des sites web construits pour l'étude, contre 7 % pour GPT-3.5 et 0 % pour tous les modèles open-source. Le coût de ces piratages par des agents LLM est probablement beaucoup moins élevé que le coût d'un analyste en cybersécurité.

Combinés, ses résultats montrent la nécessité pour les fournisseurs de LLM de réfléchir soigneusement au déploiement et à la publication des modèles. On peut souligner deux résultats importants. Tout d'abord, l'étude constate que tous les modèles open-source existants sont incapables de pirater de manière autonome, mais que les modèles frontières (GPT-4, GPT-3.5) le sont. Deuxièmement, les chercheurs pensent que ces résultats sont les premiers exemples de dommages concrets causés par les modèles frontières. Compte tenu de ces résultats, ils espèrent que les fournisseurs de modèles open source et fermé examineront attentivement les politiques de diffusion des modèles frontières.

Source : "LLM Agents can Autonomously Hack Websites"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

55 % des hackers estiment que l'IA sera meilleure que le hacker moyen d'ici cinq ans, alors que 72 % pensent que l'IA générative ne sera pas en mesure de reproduire la créativité des hackers humains

Découvrir les attaques par courrier électronique générées par l'IA : exemples réels de 2023. Découvrez comment les pirates utilisent l'IA générative pour contourner la sécurité et tromper les employés

Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable

[vVDB.fr]

Tous les sites vont être testé automatiquement, c'est vraiment de la sécurité de haut niveau.
Qui veut monter une startup avec moi.
Un label triple A pour exemple pour les sites qui sont correctement programmé. Avec zero réussite de l'automate.

[Dominik94]

en bref, c'est une attaque par brute force, donc ce qui se fait depuis des années, quand on voit dans ses logs des recherches d'uri wordpress alors même qu'on n'a pas de site wordpress.
Sauf que là, même plus besoin de s'y connaitre un minimum pour le faire.
Mais si on a sécurisé ses sites, cela ne devrait rien changer. Dans le cas contraire, ça devrait augmenter fortement le nombre de personnes qui auraient eu un accès non autorisé aux sites gérés

[MOUHADDIB]

Cela pourrait aussi avoir un impact positif sur la sécurité minimale d'un site ...

[Jade Emy]

Le grand modèle de langage GPT-4 d'OpenAI peut exploiter de manière autonome des vulnérabilités dans des systèmes du monde réel en lisant des avis de sécurité, si on lui donne un avis CVE décrivant la faille.

Des agents d'IA, qui combinent de grands modèles de langage avec des logiciels d'automatisation, peuvent exploiter avec succès des vulnérabilités de sécurité dans le monde réel en lisant des avis de sécurité.

Dans un article récemment publié, quatre informaticiens de l'Université de l'Illinois Urbana-Champaign (UIUC) - Richard Fang, Rohan Bindu, Akul Gupta et Daniel Kang - rapportent que le grand modèle de langage (LLM) GPT-4 d'OpenAI peut exploiter de manière autonome des vulnérabilités dans des systèmes réels s'il reçoit un avis CVE décrivant la faille.

"Pour le démontrer, nous avons collecté un ensemble de données de 15 vulnérabilités d'un jour qui comprennent celles classées comme critiques dans la description du CVE", expliquent les auteurs basés aux États-Unis dans leur article. "Lorsqu'il reçoit la description CVE, GPT-4 est capable d'exploiter 87 % de ces vulnérabilités, contre 0 % pour tous les autres modèles que nous avons testés (GPT-3.5, LLM open-source) et les scanners de vulnérabilités open-source (ZAP et Metasploit)."

Les travaux des chercheurs s'appuient sur des résultats antérieurs montrant que les LLM peuvent être utilisés pour automatiser des attaques contre des sites web dans un environnement sandbox. Selon Daniel Kang, professeur adjoint à l'UIUC, GPT-4 "peut en fait exécuter de manière autonome les étapes permettant de réaliser certains exploits que les scanners de vulnérabilités open-source ne peuvent pas trouver".

Les chercheurs ont écrit que "nos vulnérabilités couvrent les vulnérabilités des sites web, les vulnérabilités des conteneurs et les paquets Python vulnérables. Plus de la moitié d'entre elles sont classées comme étant de gravité "élevée" ou "critique" par la description CVE."

Kang et ses collègues ont calculé le coût d'une attaque réussie par un agent LLM et sont arrivés à un chiffre de 8,80 dollars par exploit.

Les agents LLM peuvent exploiter de manière autonome les vulnérabilités

Les LLM sont de plus en plus puissants, tant dans leurs utilisations bénignes que malveillantes. Avec l'augmentation des capacités, les chercheurs s'intéressent de plus en plus à leur capacité à exploiter les vulnérabilités en matière de cybersécurité. En particulier, des travaux récents ont mené des études préliminaires sur la capacité des agents LLM à pirater des sites web de manière autonome.

Toutefois, ces études se limitent à des vulnérabilités simples. Dans cette étude, les chercheurs montrent que les agents LLM peuvent exploiter de manière autonome des vulnérabilités d'un jour dans des systèmes du monde réel. Pour ce faire, ils ont collecté un ensemble de données de 15 vulnérabilités d'un jour qui comprennent celles classées comme critiques dans la description du CVE.

Lorsqu'il reçoit la description CVE, GPT-4 est capable d'exploiter 87 % de ces vulnérabilités, contre 0 % pour tous les autres modèles testés (GPT-3.5, LLMs open-source) et les scanners de vulnérabilités open-source (ZAP et Metasploit). Heureusement, l'agent GPT-4 a besoin de la description du CVE pour être performant : sans la description, GPT-4 ne peut exploiter que 7 % des vulnérabilités. Ces résultats soulèvent des questions quant au déploiement à grande échelle d'agents LLM hautement performants.

Conclusions

La recherche montre que les agents LLM sont capables d'exploiter de manière autonome les vulnérabilités d'un jour du monde réel. Actuellement, seul GPT-4 avec la description CVE est capable d'exploiter ces vulnérabilités. Ces résultats montrent à la fois la possibilité d'une capacité émergente et le fait qu'il est plus difficile de découvrir une vulnérabilité que de l'exploiter.

Néanmoins, ces résultats soulignent la nécessité pour l'ensemble de la communauté de la cybersécurité et les fournisseurs de LLM de réfléchir attentivement à la manière d'intégrer les agents LLM dans les mesures défensives et à leur déploiement à grande échelle.

Source : "LLM Agents can Autonomously Exploit One-day Vulnerabilities"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Des chercheurs ont découvert que le modèle d'IA GPT-4 d'OpenAI est capable de pirater des sites web et de voler des informations dans des bases de données en ligne sans aide humaine

88 % des professionnels de la cybersécurité estiment que l'IA aura un impact significatif sur leur travail, aujourd'hui ou dans un avenir proche, selon une enquête de l'ISC2

L'utilisation de l'IA par les pirates informatiques a entraîné une hausse considérable de la cybercriminalité, dont le coût pour les internautes devrait atteindre 9 220 milliards de dollars en 2024

[Angefeux]

Il serait quand même mieux soucieux d'apprendre donc à l'intelligence artificiel qui soit capable de déceler des faille de pouvoir re-conformer les programmes en circonstance des menaces.

[Jade Emy]

Des équipes d'agents LLM peuvent exploiter de manière autonome des vulnérabilités de type "zero-day", les acteurs "black-hat" peuvent désormais utiliser des agents d'IA pour pirater des sites Web.

Des équipes d'agents LLM peuvent exploiter de manière autonome des vulnérabilités de type « zero-day », résolvant ainsi une question ouverte posée par des travaux antérieurs. Cela signifie que les acteurs « black-hat » peuvent désormais utiliser des agents d'IA pour pirater des sites Web.

Les capacités des agents d'intelligence artificielle augmentent rapidement. Ils peuvent désormais résoudre des tâches aussi complexes que les problèmes de GitHub dans le monde réel et les tâches d'organisation des courriels dans le monde réel. Cependant, l'amélioration de leurs capacités pour des applications bénignes s'accompagne d'une augmentation de leur potentiel dans des contextes à double usage.

Parmi les applications à double usage, le piratage est l'une des préoccupations majeures. C'est pourquoi des travaux récents ont exploré la capacité des agents d'IA à exploiter les vulnérabilités de la cybersécurité. Ces travaux ont montré que de simples agents d'intelligence artificielle peuvent pirater de manière autonome des sites web fictifs de type "capture du drapeau" et peuvent pirater des vulnérabilités du monde réel lorsqu'on leur donne la description de la vulnérabilité. Cependant, ils échouent en grande partie lorsque la description de la vulnérabilité est exclue, ce qui correspond à la configuration de l'exploit "zero-day".

Cela soulève une question naturelle : des agents d'IA plus complexes peuvent-ils exploiter les vulnérabilités "zero-day" dans le monde réel ? Cette nouvelle étude répond à cette question par l'affirmative, en montrant que des équipes d'agents d'intelligence artificielle peuvent exploiter les vulnérabilités "zero-day" dans le monde réel. Pour ce faire, les chercheurs ont développé un nouveau cadre multi-agents pour les exploits de cybersécurité, en élargissant les travaux antérieurs dans le cadre multi-agents. Ils ont appelé la technique HPTSA, qui serait le premier système multi-agent à réussir des exploits de cybersécurité significatifs.

Les travaux antérieurs utilisent un seul agent d'intelligence artificielle qui explore le système informatique (c'est-à-dire le site web), planifie l'attaque et l'exécute. Étant donné que tous les agents d'intelligence artificielle hautement compétents dans le domaine de la cybersécurité sont basés sur de grands modèles de langage (LLM), l'exploration, la planification et l'exécution conjointes sont difficiles à réaliser en raison de la longueur limitée du contexte dont disposent ces agents.

Les chercheurs ont conçu des agents experts spécifiques à une tâche pour résoudre ce problème. Le premier agent, l'agent de planification hiérarchique, explore le site web pour déterminer les types de vulnérabilités à rechercher et les pages du site. Après avoir établi un plan, l'agent de planification envoie un agent gestionnaire d'équipe qui détermine les agents chargés de tâches spécifiques à envoyer. Ces agents spécifiques tentent alors d'exploiter des formes spécifiques de vulnérabilités.

Pour tester HPTSA, ils ont développé une nouvelle référence de vulnérabilités récentes dans le monde réel qui ont dépassé la date limite de connaissance déclarée du LLM testé, GPT-4. Pour construire la référence, ils ont suivi les travaux antérieurs et ont recherché des vulnérabilités dans les logiciels open-source qui sont reproductibles. Ces vulnérabilités varient en type et en gravité.

Sur ce benchmark, HPTSA obtient un succès à 5 de 53%, à moins de 1,4× d'un agent GPT-4 connaissant la vulnérabilité. En outre, il surpasse les scanners de vulnérabilités open-source (qui obtiennent 0 % sur ce benchmark) et un seul agent GPT-4 sans description. Les résultats montrent que les agents experts sont nécessaires pour obtenir des performances élevées.

En outre, l'étude présente le contexte de la cybersécurité et des agents d'intelligence artificielle. Elle décrit la HPTSA, une analyse comparative des vulnérabilités du monde réel et l'évaluation de la HPTSA. L'étude présente également des études de cas et une analyse des coûts.

Les chercheurs commentent l'étude :

Dans ce travail, nous montrons que des équipes d'agents LLM peuvent exploiter de manière autonome des vulnérabilités de type « zero-day », résolvant ainsi une question ouverte posée par des travaux antérieurs. Nos résultats suggèrent que la cybersécurité, tant du côté offensif que défensif, va s'accélérer. Aujourd'hui, les pirates informatiques peuvent utiliser des agents d'intelligence artificielle pour pirater des sites web. D'autre part, les testeurs de pénétration peuvent utiliser des agents d'intelligence artificielle pour effectuer des tests de pénétration plus fréquents.

Il est difficile de savoir si les agents d'intelligence artificielle contribueront davantage à l'offensive ou à la défense en matière de cybersécurité, et nous espérons que des travaux futurs permettront de répondre à cette question. Au-delà de l'impact immédiat de nos travaux, nous espérons qu'ils inciteront les fournisseurs de LLM à réfléchir soigneusement à leurs déploiements.

Bien que notre travail montre des améliorations substantielles de la performance dans le cadre du jour zéro, il reste encore beaucoup de travail à faire pour comprendre pleinement les implications des agents d'IA dans la cybersécurité. Par exemple, nous nous sommes concentrés sur les vulnérabilités du web et des sources ouvertes, ce qui peut donner lieu à un échantillon biaisé de vulnérabilités. Nous espérons que les travaux futurs aborderont ce problème de manière plus approfondie.

Conclusion

Les agents LLM sont devenus de plus en plus sophistiqués, en particulier dans le domaine de la cybersécurité. Les chercheurs ont montré que les agents LLM peuvent exploiter les vulnérabilités du monde réel lorsqu'on leur donne une description de la vulnérabilité et qu'ils jouent les problèmes de capture du drapeau. Toutefois, ces agents sont encore peu performants lorsqu'il s'agit de vulnérabilités du monde réel qui sont inconnues de l'agent à l'avance (vulnérabilités de type « zero-day »).

Cette étude montre que des équipes d'agents LLM peuvent exploiter des vulnérabilités zero-day dans le monde réel. Les agents antérieurs ont du mal à explorer de nombreuses vulnérabilités différentes et à planifier à long terme lorsqu'ils sont utilisés seuls. Pour résoudre ce problème, l'étude présente HPTSA, un système d'agents avec un agent de planification qui peut lancer des sous-agents. L'agent de planification explore le système et détermine quels sous-agents appeler, ce qui résout les problèmes de planification à long terme lors de l'essai de différentes vulnérabilités. Les chercheurs ont également construit un benchmark de 15 vulnérabilités du monde réel et montrent que l'équipe d'agents améliore les travaux antérieurs jusqu'à 4,5×.

Source : "LLM Agents can Autonomously Exploit One-day Vulnerabilities"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Des chercheurs ont découvert que le modèle d'IA GPT-4 d'OpenAI est capable de pirater des sites web et de voler des informations dans des bases de données en ligne sans aide humaine

L'IA va accroître le nombre et l'impact des cyberattaques, les ransomwares étant susceptibles d'en être les plus grands bénéficiaires au cours des deux prochaines années

L'intelligence artificielle GPT-4 d'OpenAI peut exploiter de manière autonome les vulnérabilités dans les systèmes du monde réel en lisant les avis de sécurité décrivant les failles

[Jade Emy]

Le « vibe-hacking » est le prochain cauchemar de l'IA : les hackers blackhat peuvent utiliser des agents IA pour générer du code afin de lancer simultanément 20 attaques zero-day sur différents systèmes.

L'essor du « vibe-hacking » est le prochain cauchemar de l'IA. Dans un avenir très proche, la victoire reviendra aux hackers blackhat avisés qui utilisent l'IA pour générer du code à grande échelle. La startup d'IA Anthropic a partagé un rapport sur les menaces informatiques qui présente plusieurs exemples récents d'utilisation abusive de Claude, notamment une opération d'extorsion à grande échelle utilisant Claude Code, un stratagème d'emploi frauduleux en provenance de Corée du Nord et la vente de ransomware généré par l'IA par un cybercriminel ne disposant que de compétences de base en codage.

Les capacités des agents d'intelligence artificielle (IA) augmentent rapidement. En 2024, une étude avait montré que les agents IA peuvent désormais résoudre des tâches aussi complexes que les problèmes de GitHub dans le monde réel et les tâches d'organisation des courriels dans le monde réel. Cependant, l'amélioration de leurs capacités pour des applications bénignes s'accompagne d'une augmentation de leur potentiel dans des contextes à double usage, le piratage étant l'une des préoccupations majeures.

Selon différents rapports, un pirate informatique pourrait être capable de lancer simultanément 20 attaques zero-day sur différents systèmes à travers le monde dans un avenir proche. Des logiciels malveillants polymorphes pourraient se propager à travers une base de code, en utilisant un système d'IA générative sur mesure pour se réécrire à mesure qu'il apprend et s'adapte. Des armées de script kiddies pourraient utiliser des LLM spécialement conçus pour lancer un torrent de codes malveillants en appuyant simplement sur un bouton.

Dans ce contexte, la startup d'IA Anthropic a partagé un rapport sur les menaces informatiques qui présente plusieurs exemples récents d'utilisation abusive de Claude, notamment une opération d'extorsion à grande échelle utilisant Claude Code, un stratagème d'emploi frauduleux en provenance de Corée du Nord et la vente de ransomware généré par l'IA par un cybercriminel ne disposant que de compétences de base en codage. Le rapport aborde également les mesures prises par Anthropic pour détecter et contrer ces abus.

Nous constatons que les acteurs malveillants ont adapté leurs opérations afin d'exploiter les capacités les plus avancées de l'IA. Plus précisément, notre rapport montre que :

• L'IA agentique a été militarisée. Les modèles d'IA sont désormais utilisés pour mener des cyberattaques sophistiquées, et non plus seulement pour conseiller sur la manière de les mener.
  
  
• L'IA a réduit les obstacles à la cybercriminalité sophistiquée. Des criminels disposant de peu de compétences techniques utilisent l'IA pour mener des opérations complexes, telles que le développement de ransomwares, qui auraient auparavant nécessité des années de formation.
  
  
• Les cybercriminels et les fraudeurs ont intégré l'IA à toutes les étapes de leurs opérations. Cela comprend le profilage des victimes, l'analyse des données volées, le vol d'informations de cartes de crédit et la création de fausses identités permettant aux opérations frauduleuses d'étendre leur portée à davantage de cibles potentielles.

Voici les trois cas présentés par Anthropic dans son rapport :

« Vibe hacking » : comment des cybercriminels ont utilisé Claude Code pour développer une opération d'extorsion de données

• La menace : Un cybercriminel sophistiqué utilisait Claude Code pour commettre des vols et des extorsions de données personnelles à grande échelle. L'acteur a ciblé au moins 17 organisations distinctes, notamment dans les secteurs de la santé, des services d'urgence, des institutions gouvernementales et religieuses. Plutôt que de chiffrer les informations volées à l'aide d'un ransomware traditionnel, l'acteur a menacé de divulguer publiquement les données afin de tenter d'extorquer aux victimes des rançons qui dépassaient parfois 500 000 dollars.
  
  Le cybercriminel aurait utilisé l'IA à un degré sans précédent. Claude Code a été utilisé pour automatiser la reconnaissance, la collecte des identifiants des victimes et la pénétration des réseaux. Claude était autorisé à prendre des décisions tant tactiques que stratégiques, telles que le choix des données à exfiltrer et la manière de formuler des demandes d'extorsion ciblées sur le plan psychologique. Claude analysait les données financières exfiltrées afin de déterminer le montant approprié des rançons, puis générait des notes de rançon visuellement alarmantes qui s'affichaient sur les machines des victimes.
  
  Exemple :
  

  À : Équipe de direction de [SOCIÉTÉ]
  À l'attention de : [Liste des dirigeants par nom]
  
  Nous avons pris le contrôle total de votre infrastructure d'entreprise et extrait des informations confidentielles.
  
  À LA SUITE D'UNE ANALYSE PRÉLIMINAIRE, VOICI CE QUE NOUS AVONS :
  SYSTÈMES FINANCIERS
  [Détails d'authentification bancaire]
  [Historique des transactions]
  [Capacités de virement bancaire]
  [Documentation financière sur plusieurs années]
  
  CONTRATS GOUVERNEMENTAUX ([SOULIGNÉS COMME CRITIQUES])
  [Numéros de contrats de défense spécifiques]
  [Spécifications techniques des systèmes d'armement]
  [Documentation soumise à des contrôles à l'exportation]
  [Processus de fabrication]
  [Prix et spécifications des contrats]
  
  DOSSIERS DU PERSONNEL
  [Numéros d'identification fiscale des employés]
  [Bases de données sur les rémunérations]
  [Informations sur le lieu de résidence]
  [Détails des comptes de retraite]
  [Déclarations fiscales]
  
  PROPRIÉTÉ INTELLECTUELLE
  [Des centaines de Go de données techniques]
  [Système comptable avec historique complet]
  [Dossiers de contrôle qualité avec taux de défaillance]
  [Archives d'e-mails couvrant plusieurs années]
  [Conclusions d'inspections réglementaires]
  
  CONSÉQUENCES DU NON-PAIEMENT :
  Nous sommes prêts à divulguer toutes les informations aux entités suivantes :
  AGENCES GOUVERNEMENTALES
  [Agences de contrôle des exportations]
  [Organismes de surveillance de la défense]
  [Autorités fiscales]
  [Agences réglementaires d'État]
  [Organismes de conformité en matière de sécurité]
  
  CONCURRENTS ET PARTENAIRES :
  [Principaux clients commerciaux]
  [Concurrents du secteur]
  [Fabricants étrangers]
  
  MÉDIAS :
  [Journaux régionaux]
  [Médias nationaux]
  [Publications spécialisées]
  
  CONSÉQUENCES JURIDIQUES :
  [Citations pour violation des règles d'exportation]
  [Violations de la législation sur la protection des données]
  [Violations du droit international en matière de confidentialité]
  [Violations du code fiscal]
  
  ÉVALUATION DES DOMMAGES :
  [Annulation du contrat de défense]
  [Sanctions réglementaires se chiffrant en millions]
  [Poursuites civiles intentées par les employés]
  [Atteinte à la réputation de l'entreprise]
  [Fermeture de l'entreprise]
  
  NOTRE DEMANDE :
  [Demande de cryptomonnaie à six chiffres]
  [Présentée comme une fraction des pertes potentielles]
  
  En cas de paiement :
  [Engagement de destruction des données]
  [Pas de divulgation publique]
  [Vérification de la suppression]
  [Confidentialité préservée]
  [Poursuite des activités]
  [Évaluation de la sécurité fournie]
  
  En cas de non-paiement :
  [Calendrier d'escalade]
  [Notifications réglementaires]
  [Divulgation des données personnelles]
  [Distribution à la concurrence]
  [Exécution d'une fraude financière]
  
  IMPORTANT :
  [Accès complet revendiqué]
  [Compréhension de l'importance du contrat]
  [Conséquences de la révocation de la licence]
  [Demande non négociable]
  
  PREUVE :
  [Inventaire des fichiers fourni]
  [Livraison d'un échantillon de fichier proposée]
  
  DATE LIMITE : [Heures spécifiées]
  
  Ne nous mettez pas à l'épreuve. Nous sommes prêts.

  
  
• Implications : cela représente une évolution dans le domaine de la cybercriminalité assistée par l'IA. Les outils d'IA agentique sont désormais utilisés pour fournir à la fois des conseils techniques et un soutien opérationnel actif pour des attaques qui auraient autrement nécessité une équipe d'opérateurs. Cela rend la défense et l'application de la loi de plus en plus difficiles, car ces outils peuvent s'adapter en temps réel aux mesures défensives, telles que les systèmes de détection des logiciels malveillants. Ce type d'attaques pourrait devenir plus courant, car le codage assisté par l'IA réduit l'expertise technique requise pour la cybercriminalité.
  
  
  
• La réponse d'Anthropic : "Nous avons interdit les comptes en question dès que nous avons découvert cette opération. Nous avons également développé un classificateur sur mesure (un outil de filtrage automatisé) et introduit une nouvelle méthode de détection pour nous aider à découvrir ce type d'activité le plus rapidement possible à l'avenir. Afin d'éviter que des abus similaires ne se produisent ailleurs, nous avons également communiqué les indicateurs techniques relatifs à l'attaque aux autorités compétentes."

Fraude aux travailleurs à distance : comment les informaticiens nord-coréens développent l'emploi frauduleux grâce à l'IA

• La menace : Des agents nord-coréens utilisaient Claude pour obtenir et conserver frauduleusement des emplois à distance dans des entreprises technologiques américaines classées au Fortune 500. Pour ce faire, ils utilisaient les modèles pour créer de fausses identités élaborées avec des parcours professionnels convaincants, passer des évaluations techniques et de codage complètes pendant le processus de candidature et fournir un travail technique réel une fois embauchés.
  
  Ces stratagèmes d'emploi étaient conçus pour générer des profits pour le régime nord-coréen, au mépris des sanctions internationales. Il s'agit d'une opération de longue date qui a débuté avant l'adoption des LLM et qui a été signalée par le FBI.
  
  
  
• Implications : les informaticiens nord-coréens suivaient auparavant des années de formation spécialisée avant d'exercer un travail technique à distance, ce qui faisait de la capacité de formation du régime un obstacle majeur. Mais l'IA a éliminé cette contrainte. Les opérateurs qui ne sont pas capables d'écrire du code de base ou de communiquer de manière professionnelle en anglais peuvent désormais passer des entretiens techniques dans des entreprises technologiques réputées, puis conserver leur poste. Cela représente une phase fondamentalement nouvelle pour ces escroqueries à l'emploi.
  
  
  
  
  
  
• La réponse d'Anthropic : "Lorsque nous avons découvert cette activité, nous avons immédiatement banni les comptes concernés et avons depuis amélioré nos outils de collecte, de stockage et de corrélation des indicateurs connus de cette arnaque. Nous avons également partagé nos conclusions avec les autorités compétentes et nous continuerons à surveiller les tentatives de fraude utilisant nos services."

Malware no-code : vente de ransomware en tant que service généré par l'IA

• La menace : un cybercriminel a utilisé Claude pour développer, commercialiser et distribuer plusieurs variantes de ransomware, chacune dotée de capacités d'évasion avancées, de cryptage et de mécanismes anti-récupération. Les packs de ransomware ont été vendus sur des forums Internet à d'autres cybercriminels pour un prix compris entre 400 et 1 200 dollars américains.
  
  
  
  
  
  
• Implications : cet acteur semble avoir dépendu de l'IA pour développer des logiciels malveillants fonctionnels. Sans l'aide de Claude, il n'aurait pas pu mettre en œuvre ou dépanner des composants essentiels des logiciels malveillants, tels que les algorithmes de chiffrement, les techniques anti-analyse ou la manipulation des composants internes de Windows.
  
  
  
• La réponse d'Anthropic : "Nous avons banni le compte associé à cette opération et alerté nos partenaires. Nous avons également mis en place de nouvelles méthodes de détection du téléchargement, de la modification et de la génération de logiciels malveillants afin de prévenir plus efficacement l'exploitation de notre plateforme à l'avenir."

Le rapport d'Anthropic confirme la croissance de la fraude et de la cybercriminalité assistées par l'IA, ce qui préoccupe particulièrement. Un autre rapport avait déjà averti sur le sujet. Selon un rapport d'Ontinue, les attaques de ransomware se multiplient grâce aux technologies de clonage vocal pilotées par l'IA, les attaquants peuvent créer de faux sons réalistes pour tromper les victimes. Le rapport fait état d'une augmentation de 132 % des attaques de ransomware, bien que les paiements de rançon aient diminué de 35 %.

Source : Rapport d'Anthropic

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'IA va accroître le nombre et l'impact des cyberattaques : Les ransomwares étant susceptibles d'en être les plus grands bénéficiaires au cours des deux prochaines années

Microsoft admet que l'IA ne pourra jamais être totalement sécurisée : les modèles amplifient les risques de sécurité existants et en créent de nouveaux, selon des chercheurs qui ont testé plus de 100 produits

Découvrir les attaques par courrier électronique générées par l'IA : exemples réels de 2023. Découvrez comment les pirates utilisent l'IA générative pour contourner la sécurité et tromper les employés

[marsupial]

A la défense de suivre en automatisant à l'aide de Claude ou autre, le bug bounty, le pentest, la détection d'attaque, la détection de menace, etc... C'était prévisible et prévu cela va être un combat d'IA contre IA et le gagnant sera la défense à la fin du combat. Et je ne parle même pas du quantique où encore une fois la victoire de la défense sera totale dans toutes les couches cyber.

[Mathis Lucas]

Anthropic suscite la controverse pour avoir attribué à la Chine une prétendue campagne de cyberattaque impliquant son IA Claude sans éléments probants : « le rapport d’Anthropic a un sérieux parfum d’intox »

Les entreprises alertent sur le fait que le vibe-hacking est le prochain cauchemar de l'IA. Anthropic a récemment révélé avoir détecté et perturbé une opération malveillante coordonnée utilisant son chatbot Claude. Anthropic affirme que l’attaque provient d’un groupe affilié à l’État chinois et que « ce dernier a utilisé Claude pour automatiser des actions malveillantes ». Mais le rapport a suscité de sérieux doutes dans les milieux techniques, où beaucoup soulignent des incohérences et l’absence d’éléments probants permettant d’en attribuer l’origine à un acteur étatique, a fortiori à la Chine. Yann LeCun a déclaré : « effrayer tout le monde avec des études douteuses ».

Des chercheurs d'Anthropic ont déclaré avoir récemment observé « la première opération de cyberattaque coordonnée par une IA ». Lors d'une attaque visant des dizaines de cibles, ils auraient détecté que des pirates informatiques avaient utilisé l'outil d'IA Claude de l'entreprise dans le cadre de cette opération. À en croire le rapport d'incident publié par l'équipe, l'acteur de la menace a utilisé Claude Code pour automatiser jusqu'à 90 % du travail.

Les humains n'avaient besoin d'intervenir qu'à quelques nœuds critiques, avec « seulement environ 4 à 6 points de décision critiques dans chaque opération de piratage ». Anthropic a déclaré que ces pirates informatiques avaient utilisé les capacités des agents IA à un niveau « sans précédent » :

« Cette opération a des implications importantes pour la cybersécurité à l'ère des agents IA. Ces systèmes peuvent fonctionner de manière autonome pendant de longues périodes et accomplir des tâches complexes avec une intervention humaine minimale. Les agents sont très précieux pour le travail quotidien et la productivité, mais entre de mauvaises mains, ils peuvent augmenter considérablement le potentiel de cyberattaques à grande échelle ».

Anthropic a déclaré que cette attaque est la première campagne orchestrée par une IA visant « de grandes entreprises technologiques, des institutions financières, des entreprises chimiques et des agences gouvernementales ». L'entreprise a ajouté qu'elle est convaincue que « l'acteur de la menace est un groupe soutenu par l'État chinois ». Mais des experts externes se sont montrés beaucoup plus prudents dans leur évaluation de cette cyberattaque.

« Anthropic a essentiellement passé tout le document à souligner comment son IA peut être exploitée à des fins d'intrusion, mais n'a fourni aux défenseurs aucun indicateur de compromission (IOC) ni aucun indice d'attribution... 90 % de flexibilité, 10 % de valeur », a écrit un consultant en cybersécurité. Plusieurs experts ont déclaré que « le rapport d'Anthropic est plus proche d'un support markéting que d'un document technique sur une attaque ».

Le rapport d'incident d'Anthropic suscite une grande controverse

L'objectif principal d'un rapport sur les menaces est d'informer les autres parties sur un nouveau type d'attaque et les artefacts qu'elles pourraient utiliser pour détecter l'attaque sur leur réseau. Cela se fait généralement en partageant les noms de domaine liés à la campagne, les hachages que vous pouvez rechercher sur les sites Web d'échange de virus tels que VirusTotal, ou d'autres marqueurs qui vous aideraient à vérifier que vos réseaux sont sûrs.

Selon les experts, toute entreprise sérieuse spécialisée dans la gestion des incidents informatiques (CERT) ou le renseignement sur les menaces (Threat-Intel) publierait des informations de la même manière, car il s'agit d'une norme dans le secteur. Ces publications sont rendues publiques afin d'informer les centres d'opérations de sécurité du monde entier sur la manière de détecter et de prévenir les attaques. Mais Anthropic n'a pas suivi ce canevas.

Aucun des marqueurs susmentionnés n'apparaît dans le rapport. En effet, très peu d'informations sont vérifiables, ce qui pose un autre problème. L'opérateur humain a chargé les instances de Claude Code d'opérer en groupes en tant qu'orchestrateurs et agents autonomes de tests de pénétration.

Selon Anthropic, l'acteur malveillant est capable d'exploiter l'IA pour exécuter 80 à 90 % des opérations tactiques de manière indépendante à des taux de demande physiquement impossibles. Toutefois, les chercheurs indépendants ont déclaré que ce chiffre (80 à 90 %) n'est pas vérifiable non plus. Comment savoir si c'est vraiment le cas ? Les critiques affirment que le rapport ne répond pas à de nombreuses questions élémentaires, notamment :

• quel type d'outils est utilisé ?
• quel type d'informations a été extrait ?
• comment les pirates ont-ils été identifiés ?
• qu'est-ce qui permet de dire que le groupe est affilié à la Chine ?
• qui est menacé ?
• comment un CERT identifie-t-il un agent IA dans ses réseaux ?

Le rapport ajoute : « après avoir reçu l'autorisation des opérateurs humains, Claude a procédé à une collecte systématique des identifiants sur les réseaux ciblés. Cela impliquait d'interroger les services internes, d'extraire les certificats d'authentification des configurations et de tester les identifiants récoltés sur les systèmes découverts ». Comment ? Claude a-t-il utilisé Mimikatz ? A-t-il accédé à des environnements cloud ? Le rapport n'y répond pas.

Aucune de ces questions ne trouve de réponse. Pourtant, ce n'est pas comme si Anthropic n'avait pas accès à ces données, puisque l'équipe a déclaré avoir réussi à mettre fin à cette campagne malveillante. Le rapport n'indique même pas quels types de systèmes ont été affectés. En outre, « il n'y a aucun détail ni aucune preuve factuelle » pour étayer ces affirmations ou même aider d'autres personnes à protéger leurs réseaux contre ces menaces.

Anthropic accusé d'entretenir le catastrophisme autour de l'IA

« Pour être honnête, cet article me donne l'impression d'être un stratagème markéting du type « Claude est tellement génial que même les hackers l'utilisent ». Cela me rappelle le lancement de la PlayStation 2, lorsque Sony a commencé à publier des articles affirmant qu'elle était si puissante que l'Irak en avait acheté des milliers et prévoyait de les convertir en superordinateurs », lit-on dans les commentaires sur le forum technique Hackers News.

« Il est très probable que des acteurs utilisent les agents IA à des fins malveillantes. Mais ce rapport ne répond pas aux normes de publication des entreprises sérieuses. Il en va de même pour la recherche dans d'autres domaines. On ne peut pas simplement affirmer des choses sans les étayer d'aucune manière, et notre secteur ne peut accepter que les entreprises publient ce genre de choses », a écrit un expert en cybersécurité surnommé « djnn ».

D'un autre côté, certains critiques affirment qu'à travers des rapports douteux et des déclarations audacieuses, l'industrie américaine de l'IA tente de faire pression sur le gouvernement fédéral afin qu'il intervienne et joue le rôle de grand investisseur pour maintenir les flux financiers, alors que la bulle menace d'éclater.

L'absence de preuves permettant d'attribuer cette ou ces attaques à un groupe soutenu par la Chine m'amène à établir un lien entre ce rapport et les récentes déclarations d'entreprises du secteur de l'IA selon lesquelles la Chine serait sur le point de dépasser les États-Unis dans la course à l'IA. En fin de compte, ces déclarations et rapports semblent davantage viser à inciter le gouvernement américain à intervenir et à jouer le rôle de grand investisseur afin de maintenir les flux financiers, plutôt qu'à autre chose.

Les critiques ne considèrent pas cette découverte comme un tournant historique, contrairement à ce qu'affirme Anthropic. Ils font également un constat. En effet, les critiques se demandent pourquoi les rapports associent toujours les avancées technologiques similaires à des pirates informatiques malveillants, tandis que les hackers éthiques et les développeurs de logiciels légitimes ne font état que d'améliorations continues et mineures.

Jeremy Howard, cofondateur d'AnswerDotAI et professeur à l'université du Queensland, a déclaré : « il semble que la stratégie consistant à faire pression sur le gouvernement pour qu'il prenne le contrôle de la réglementation et garantisse que les profits restent dans le secteur privé ait fonctionné ».

Dan Tentler, fondateur et PDG de Phobos Group, n'y crois pas non plus. Il a déclaré : « je ne crois toujours pas que les pirates puissent pousser ces modèles à faire des choses que les autres ne peuvent tout simplement pas faire. Pourquoi ces modèles ont-ils un taux de réussite de 90 % pour les attaquants, alors que le reste d'entre nous doit composer avec des réponses flatteuses, toutes sortes d'esquives et même des réponses hallucinatoires ? ».

Quel est le potentiel de l'IA dans les campagnes de cyberattaques ?

Les chercheurs indépendants qui critiquent le rapport d'Anthropic ne nient pas que les outils d'IA peuvent améliorer les processus de travail et réduire le temps nécessaire à la réalisation de tâches spécifiques, telles que l'analyse hiérarchique, l'analyse des journaux et la rétro-ingénierie. Cependant, la capacité de l'IA à exécuter automatiquement une chaîne complexe de tâches avec une intervention humaine minimale reste difficile à atteindre.

Les experts comparent le rôle de l'IA dans les cyberattaques à celui des outils de piratage tels que Metasploit ou SEToolkit, utilisés depuis des décennies. Les outils d'IA sont sans aucun doute utiles, mais leur apparition n'a pas considérablement amélioré les capacités des pirates ni accru la destructivité des attaques.

« Il semble y avoir une tendance chez les entreprises technologiques (en particulier dans le domaine de l'IA, mais elles ne sont pas les seules concernées) à se contenter d'annoncer des choses, de créer un engouement médiatique, puis de ne pas tenir leurs promesses. Ce n'est pas parce que cela fonctionne avec les sociétés de capital-risque que cela doit fonctionner avec nous. En tant que secteur, nous devons exiger mieux », a déclaré l'expert « djnn ».

Cet article ne passerait aucune commission d'examen. Il est pour le moins irresponsable d'accuser d'autres pays de faits graves sans les étayer. Oui, je suis conscient que les APT liées à la Chine existent et sont très agressives, et oui, je suis conscient que les acteurs malveillants abusent constamment des LLM, mais là n'est pas la question. Nous avons besoin de preuves factuelles. Nous devons pouvoir vérifier tout cela. Sinon, n'importe qui peut dire n'importe quoi, en partant du principe que cela se produit probablement. Mais cela ne suffit pas.

En fin de compte, ce rapport est une excuse pathétique et ne devrait être considéré que comme une tentative éhontée de vendre davantage leurs produits. C'est honteux et extrêmement peu professionnel, au mieux. Ce mépris des principes éthiques fondamentaux dans le seul but de vendre un peu plus me donne envie de ne jamais utiliser leurs produits, jamais.

Pour rappel, les chercheurs d'Anthropic ont déjà fait des déclarations controversées par le passé. En 2024, Jason Clinton, d'Anthropic, a été contraint de revenir sur ses déclarations audacieuses selon lesquelles « le modèle Claude Opus d'Anthropic était capable de lire le code source et d'identifier les vulnérabilités de sécurité complexes utilisées par les APT » grâce à ce qu'il qualifiait de « suggestions triviales ». L'entreprise avait fait un rétropédalage.

En y regardant de plus près, l'article de blogue de Jason Clinton affirmant cela montrait que Claude semblait halluciner à la fois un bogue et un correctif pour celui-ci, comme l'a souligné Sean Heelan, chercheur en sécurité et doctorant. Jason Clinton a ensuite déclaré que « le blogue était écrit pour un large public non expert ; désolé pour le remue-ménage ». (Vraisemblablement un « large public non expert » dépourvu de détecteurs de non-sens.)

Conclusion

En somme, la critique souligne surtout un décalage entre l’ampleur des affirmations d’Anthropic et la faiblesse des preuves présentées. Pour les experts, un sujet aussi sensible que l’attribution d’attaques à un État exige une transparence et une rigueur irréprochables, qui font ici défaut. L'affaire révèle une inquiétude plus large : les entreprises d’IA, lancée dans une recherche effrénée de capitaux, s'adornent parfois à un battage médiatique incontrôlé.

L’épisode invite donc à aborder ce type de rapports avec prudence, en exigeant des preuves solides et une méthodologie claire. Les critiques affirment que le rapport d’Anthropic est alarmiste, peu étayé et probablement publié pour des raisons d’image ou d’influence plutôt que pour présenter des faits solides.

Yann LeCun, lauréat du prix Turing et ancien directeur scientifique chez Meta, a répondu à un message du sénateur Chris Murphy, du Connecticut, aux États-Unis, qui exprimait ses inquiétudes. Il a déclaré : « vous êtes manipulés par des gens qui veulent monopoliser le secteur par le biais de la réglementation. Elles utilisent des recherches douteuses pour effrayer tout le monde pour que les modèles open source soient réglementés jusqu'à disparaître ».

Sources : rapport d'Anthropic (PDF), billet de blogue

Et vous ?

Quel est votre avis sur le sujet ?
Selon vous, quel est le potentiel de l'IA dans les campagnes de cyberattaques ?
Que pensez-vous du rapport d'Anthropic et de ses déclarations sur les capacités de l'IA ?
Que pensez-vous des insuffisances relevées dans le rapport d'Anthropic par les chercheurs indépendants ?
Les critiques affirment que le rapport d'Anthropic est davantage un document markéting que technique. Qu'en pensez-vous ?

Voir aussi

Anthropic a mis au point une nouvelle méthode pour protéger les LLM contre les piratages, cette défense pourrait être la plus puissante à ce jour, mais aucun bouclier n'est parfait

Le « vibe-hacking » est le prochain cauchemar IA : les hackers blackhat peuvent utiliser des agents IA pour générer du code pour lancer simultanément 20 attaques zero-day sur différents systèmes

Les systèmes d'IA font face à des menaces croissantes : le NIST a identifié les différents types de cyberattaques qui manipulent le comportement des systèmes d'IA