Discussion :

[Anthony]

85 % des développeurs s'inquiètent des risques de sécurité liés au fait de s'appuyer sur la GenAI pour développer des logiciels, et sur la perte de pensée critique due à l'utilisation d'assistants de codage IA

La plupart des développeurs (85 %) et des équipes de sécurité (75 %) ont des inquiétudes en matière de sécurité quant au fait de s'appuyer sur l'IA générative (GenAI) pour développer des logiciels, révèle un rapport de Legit Security.

Ces inquiétudes sont soulignées par une étude de 2023 portant sur les capacités de génération de code informatique de ChatGPT, le chatbot d'IA générative d'OpenAI. Le rapport de l'étude a en effet révélé que ChatGPT génère non seulement du code informatique peu sûr, mais ne vous le dira pas à moins que vous ne le lui demandiez. Le chatbot ne fournirait donc des conseils utiles pour améliorer la qualité du code qu'après avoir été invité à remédier aux problèmes détectés par l'utilisateur. Les auteurs mettent ainsi en garde contre les risques d'une surconfiance en ChatGPT

Le récent rapport de Legit Security, basé sur une enquête menée auprès de plus de 400 professionnels de la sécurité et développeurs de logiciels en Amérique du Nord, révèle que 96 % des professionnels de la sécurité et du développement de logiciels déclarent que leurs entreprises utilisent des solutions basées sur l'IA générative pour créer ou fournir des applications.

Parmi ces répondants, 79 % indiquent que toutes ou la plupart de leurs équipes de développement utilisent régulièrement l'IA générative. Cependant, 84 % des professionnels de la sécurité sont préoccupés par l'utilisation des assistants de codage et citent les codes inconnus et/ou malveillants comme leur principale préoccupation. Tandis que 98 % estiment que les équipes de sécurité ont besoin de mieux maîtriser la façon dont les solutions basées sur la GenAI sont utilisées dans le développement. 94 % déclarent avoir besoin de moyens plus efficaces pour gérer l'utilisation de l'IA générative dans les efforts de recherche et de développement de leur entreprise.

« Alors que l'IA générative transforme le développement logiciel et s'intègre de plus en plus dans le cycle de vie du développement, il existe de réelles préoccupations en matière de sécurité parmi les développeurs et les équipes de sécurité », déclare Liav Caspi, cofondateur et directeur technique chez Legit. « Notre recherche a révélé que les équipes doivent trouver un équilibre entre les innovations de la GenAI et les risques qu'elle introduit en exposant leurs applications et leur chaîne d'approvisionnement logicielle à de nouvelles vulnérabilités. Bien que l'IA générative soit sans aucun doute l'avenir du développement logiciel, les organisations doivent être conscientes de ses nouveaux risques et s'assurer qu'elles disposent de la visibilité et du contrôle appropriés sur son utilisation. »

Les développeurs sont plus nombreux que les professionnels de la sécurité à s'inquiéter de la perte d'esprit critique due à l'utilisation de l'IA dans le développement de logiciels (8 % contre 3 %). 95 % des répondants prévoient que les développeurs de logiciels seront plus dépendants de l'IA générative au cours des cinq prochaines années, aucun ne prévoyant une diminution de la dépendance.

Outre ces précédentes inquiétudes liées l'utilisation de l'IA dans le développement de logiciels, des questions se posent également quant à l'efficacité réelle de la technologie. Les assistants d'IA de codage font-ils vraiment gagner du temps aux développeurs ? Une étude révèle que ces outils n'augmentent pas la vitesse de codage, mais augmentent significativement le taux de bogues. L'étude, réalisée par Uplevel, révèle notamment que l'utilisation de GitHub Copilot a entraîné une augmentation de 41 % des bogues, soulevant des inquiétudes quant à la qualité du code. En outre, malgré la diminution des heures de travail pour les groupes de contrôle et de test, ceux qui ont utilisé GitHub Copilot n'ont pas été soulagés de l'épuisement professionnel, ce qui indique l'efficacité limitée de l'outil dans la réduction du stress lié au travail. En somme, les développeurs passeraient donc plus de temps à examiner le code généré par l'IA, ce qui pourrait contrebalancer tout gain de temps.

Source : "Use and Security of GenAI in Software Development" (Etude de Legit Security)

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous les conclusions de cette étude de Legit Security crédibles ou pertinentes ?

Voir aussi :

Les défis croissants du code généré par l'IA : le code généré par l'IA pourrait augmenter la charge de travail des développeurs et accroître les risques, selon Harness

Les failles de sécurité dans les applications d'IA montent en flèche, le nombre de vulnérabilités Zero Day liées à l'IA a triplé depuis novembre 2023, selon les dernières conclusions de Protect AI

Copilot Autofix : la réponse de l'IA aux problèmes de vulnérabilité du code, le nouvel outil d'analyse de GitHub, piloté par l'IA, promet de révolutionner la détection et la correction des vulnérabilités

[Jade Emy]

La société spécialisé dans la sécurité des IA Snyk dévoile l'AI Security Fabric : un système adaptatif permettant le déploiement d’innovations IA en toute sécurité et offrant une protection continue

Snyk, société spécialisée dans la sécurité des IA, dévoile l'AI Security Fabric, une plateforme assurant une défense continue tout au long du cycle de vie du développement logiciel (SDLC). En unifiant la visibilité, la prévention et la gouvernance, l'AI Security Fabric permet aux entreprises de commercialiser des logiciels basés sur l'IA en toute sécurité et à la vitesse de l'IA. La plateforme de sécurité des IA, AI Security Fabric, sécurise le développement d’IA générative dès la création de code mais également les agents et logiciels natifs IA. Elle organise la structure en trois vecteurs unifiés : la base (DevSecOps accéléré par l'IA), l'accélérateur (développement basé sur l'IA) et la frontière (logiciels natifs IA).

En 2024, un rapport de Legit Security, basé sur une enquête menée auprès de plus de 400 professionnels de la sécurité et développeurs de logiciels en Amérique du Nord, révèle que 96 % des professionnels de la sécurité et du développement de logiciels déclarent que leurs entreprises utilisent des solutions basées sur l'IA générative pour créer ou fournir des applications. En outre, le rapport montre que 85 % des développeurs s'inquiètent des risques de sécurité liés au fait de s'appuyer sur la GenAI pour développer des logiciels et 94 % déclarent avoir besoin de moyens plus efficaces pour gérer l'utilisation de l'IA générative dans les efforts de recherche et de développement de leur entreprise.

Dans ce contexte, Snyk, société spécialisée dans la sécurité des IA, dévoile l'AI Security Fabric, une plateforme assurant une défense continue tout au long du cycle de vie du développement logiciel (SDLC). En unifiant la visibilité, la prévention et la gouvernance, l'AI Security Fabric permet aux entreprises de commercialiser des logiciels basés sur l'IA en toute sécurité et à la vitesse de l'IA.

Aujourd'hui, les développeurs et les concepteurs utilisent non seulement l'IA pour écrire du code et alimenter des applications, mais ils sont également confrontés à une augmentation rapide des cybermenaces liées à l'IA. Ce système aide les entreprises à réduire les risques cumulés sans ralentir l'innovation. L'augmentation de la dette de sécurité, les nouveaux vecteurs d'attaque et le manque de gouvernance dans le développement basé sur l'IA aggravent les risques sur une surface d'attaque en constante expansion. Alors que l'infrastructure IA devient la trame de l'informatique moderne, les entreprises ont besoin d'une trame de sécurité qui assure une protection continue, et non ponctuelle.

La plateforme de sécurité des IA, AI Security Fabric, sert de moteur à cette vision, sécurisant le développement d’IA générative dès la création de code mais également les agents et logiciels natifs IA. Elle organise la structure en trois vecteurs unifiés : la base (DevSecOps accéléré par l'IA), l'accélérateur (développement basé sur l'IA) et la frontière (logiciels natifs IA).

Lorsque la création dépasse la vitesse humaine, les risques s'accélèrent également

Le passage au développement basé sur l'IA a bouleversé les modèles de sécurité traditionnels, créant une surface d'attaque fragmentée où convergent les menaces autonomes et les vulnérabilités héritées, ce qui multiplie les risques à la vitesse des machines. Snyk a identifié trois défis que l’AI Security adresse :

- Les vulnérabilités apparaissent à un rythme plus rapide : le volume de code explose en raison de l'adoption rapide des pratiques de codage assistées par l'IA. La sécurité doit aller au-delà de l'analyse réactive pour être « sécurisée dès le départ », en stoppant le flux de nouvelles vulnérabilités qui contribuent à l'augmentation des retards en matière de sécurité.

- Le temps nécessaire à l'exploitation des vulnérabilités diminue : selon Gartner, l'IA devrait accélérer l'exploitation des vulnérabilités de 50 % d'ici 20271. Les attaques automatisées ciblant toutes les expositions disponibles, les organisations doivent systématiquement réduire leur dette de sécurité afin de diminuer leur profil de risque.

- L'IA a un effet cumulatif sur les risques : le passage au développement natif de l'IA a déclenché une explosion de modèles non gérés et d'agents autonomes dans les workflows de livraison et dans les logiciels eux-mêmes. Cette « Shadow AI » crée une surface d'attaque fragmentée où le danger ne réside plus seulement dans le code, mais aussi dans l'action de l'IA elle-même. Un agent compromis peut enchaîner de manière autonome de nouvelles menaces avec des vulnérabilités précédemment « mises en veille », ce qui aggrave les risques plus rapidement que les équipes humaines ne peuvent y remédier.

De nouvelles données issues du rapport 2026 State of Agentic AI Adoption de Snyk, qui analyse des informations anonymisées provenant de plus de 500 environnements Evo d'entreprise, révèlent que le « Shadow AI » est beaucoup plus répandu que ne le pensent les organisations. Pour chaque modèle d'IA déployé, les entreprises introduisent généralement près de trois fois plus de composants logiciels cachés, notamment des ensembles de données et des outils tiers. Avec 82 % des outils d'IA provenant de packages externes, les entreprises élargissent sans le savoir une vaste chaîne d'approvisionnement logicielle non surveillée que les outils de sécurité traditionnels ne peuvent ni voir ni contrôler.

Une défense continue sans freiner l'innovation

Pour contrer ces risques cumulés, il est nécessaire de mettre en place une défense efficace et proche des enjeux business. Une récente étude Forrester Total Economic Impact a révélé que les organisations utilisant la plateforme de sécurité Snyk AI Security Platform, le moteur qui alimente l'AI Security Fabric, ont obtenu un retour sur investissement (ROI) de 288 % sur trois ans. En consolidant les outils existants et en accélérant les délais de correction de 60 %, la plateforme a permis à ces organisations de réduire leur dette de sécurité et de rentabiliser leur investissement en moins de six mois.

« Nos clients doivent pouvoir concevoir sans crainte à l'ère de l'IA, mais lorsque la création s'accélère au-delà de la vitesse humaine, le risque devient ingérable », a déclaré Peter McKay, PDG de Snyk. « Les entreprises n'ont pas seulement besoin de la sécurité des applications, elles ont besoin d'une structure de sécurité IA. Snyk est la seule entreprise à offrir les capacités, les conseils et l'innovation visionnaire nécessaires pour tisser cette structure, garantissant ainsi que la confiance est intégrée dans les logiciels dès le premier prompt jusqu'à la production. »

Instaurer la confiance grâce à la plateforme de sécurité Snyk AI

Snyk continue d'ajouter de nouvelles fonctionnalités et améliorations qui concrétisent cette vision de l'AI Security Fabric à travers les trois vecteurs unifiés de la plateforme Snyk AI Security :

DevSecOps accéléré par l'IA (stabilisation et réduction de la dette de sécurité) : Snyk aide ses clients à maîtriser les principes fondamentaux, de la visibilité à la gouvernance, afin de garantir la sécurité par défaut de l'ensemble de leur chaîne logistique logicielle.

- Prévention intégrée : Delta Findings fournit des commentaires immédiats sur les nouveaux risques dans l'IDE et les PR, tandis qu'une expérience PR Check améliorée intègre des tests de sécurité dans les workflows Git afin d'empêcher les risques d'entrer dans les référentiels.

- Correction plus rapide : accélère les corrections grâce au regroupement par dépendance (en donnant la priorité aux mises à niveau à fort impact) et à la notation du risque de rupture (pour éviter les perturbations de la compilation), tandis que Snyk Agent Fix permet d'effectuer des réparations par IA en un seul clic dans l'IDE et la demande d'extraction.

- La corrélation DAST et SAST comble le fossé entre les tests dynamiques et statiques, en reliant directement les vulnérabilités d'exécution à la ligne exacte du code source afin de permettre une correction plus efficace.

Sécurisation du développement basé sur l'IA (sécurisation dès la conception dans les agents de codage) : les fonctionnalités de Snyk sont directement intégrées aux assistants de codage IA afin de garantir la sécurité du code généré par l'IA dès sa conception.

- Barrières de sécurité IA étendues : de nouveaux flux de configuration en 60 secondes sont désormais également disponibles pour Gemini CLI et Claude Code.

- Échelle de l'entreprise : les équipes de sécurité peuvent désormais définir et distribuer de manière centralisée des garde-fous afin de garantir des normes de sécurité cohérentes.

- Corrections fluides : les développeurs peuvent déclencher une correction intelligente de bout en bout, de la génération à la demande d'extraction, sans quitter leur flux de travail.

Sécurisation des logiciels natifs IA (gestion des agents, des outils et de l'exécution autonome) : alors que nous entrons dans l'ère des agents et des systèmes non déterministes, Snyk aide les organisations à adopter l'IA en toute sécurité et à gérer l'avenir du développement de l'IA.

- Visibilité du Shadow AI : l'AI-BOM d'Evo s'intègre à l'inventaire des actifs pour détecter automatiquement les modèles et les dépendances. Elle est lancée parallèlement à une nouvelle étude sur les tendances en matière d'adoption de l'IA menée auprès de plus de 500 utilisateurs précurseurs.

- Sécurité agentique : le prototype MCP-Scan de Snyk Labs exploite l'analyse des flux toxiques pour atténuer l'empoisonnement des outils et l'injection rapide dans le protocole MCP (Model Context Protocol).

« A mesure que le développement basé sur l'IA s'accélère, la surveillance humaine seule ne suffit plus », a déclaré Gabriel Brolo Tobar, ingénieur senior en sécurité chez Yalo. « Nous considérons l’AI Security Fabric de Snyk comme un partenaire essentiel pour notre équipe d'ingénieurs, une première ligne de défense qui nous permet de prendre immédiatement le contrôle des problèmes. Ce partenariat est indispensable, car il nous permet d'adopter des architectures natives IA sans perdre le contrôle de notre posture de sécurité. »

Snyk permet aux organisations de passer d'un chaos non déterministe à la maîtrise grâce à sa roadmap produit prescriptive pour opérationnaliser la sécurité de l'IA. Cette feuille de route aide les dirigeants à combler le fossé entre la vitesse de développement et la gouvernance centralisée, transformant la sécurité de l'IA en un système opérationnel, et non en un ensemble d'outils. En comblant le fossé critique entre la vitesse de développement et la gouvernance de la sécurité, Snyk aide les entreprises à concrétiser cette feuille de route.

Cette annonce intervient dans un contexte où les assistants d'IA de codage accélèrent le développement de logiciels. Mais une étude de CodeRabbit montre que le code généré par l'IA présente nettement plus de défauts que le code écrit par des humains dans les principales catégories de qualité logicielle. Le rapport a révélé que les pull requests générées par l'IA contiennent en moyenne environ 1,7 fois plus de problèmes que celles écrites uniquement par des humains. Il a également identifié des taux plus élevés de défauts critiques et majeurs dans le code impliquant des outils d'IA.

A propos de Snyk

Snyk, entreprise spécialisée dans la sécurité de l'IA, permet aux entreprises qui s'appuient sur l'IA de développer et de sécuriser leur avenir, en leur garantissant une confiance totale dans l'IA pour innover sans limites. La plateforme de sécurité IA de Snyk intègre la protection directement au processus de création afin de sécuriser le code d’IA générative, les applications natives IA et les systèmes d'agents.

Source : Snyk

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'activité IA et Machine Learning (ML) bondit de 91 % en un an : des milliers d'organisations exposées, sans cadre de gouvernance, d'après le rapport Zscaler ThreatLabz 2026 sur les menaces IA

Cloudflare a lancé de nouveaux outils Zero Trust dans sa plateforme Cloudflare One, afin d'aider les entreprises à adopter l'IA à grande échelle en toute sécurité

OpenAI présente Aardvark, un agent IA de sécurité autonome qui détecte et résout les vulnérabilités du code, conçu pour aider les développeurs à prévenir les problèmes de sécurité

[Mathis Lucas]

Accès non autorisé aux courriels, destruction de bases de code et hallucination de données personnelles : les anecdotes effrayantes concernant les assistants IA personnels ne cessent d'affluer

Les risques de sécurité et les défaillances techniques liés à l'utilisation des agents IA autonomes sont de plus en plus documentés. Bien que ces outils visent à simplifier le travail, des utilisateurs rapportent des comportements imprévisibles, comme des accès non autorisés à des courriels, des hallucinations de données personnelles et la perte de données. Pour fonctionner, les agents IA exigent les mêmes autorisations système que les humains qui les utilisent, ce qui pose des risques en matière de sécurité. La confiance accordée à ces assistants numériques est mise à l'épreuve par un manque de transparence algorithmique et des menaces réelles pour la vie privée.

L'année 2026 a marqué un tournant pour l'IA agentique. Anthropic a rapporté que près de 90 % des organisations utilisent l'IA pour assister le développement, et 86 % déploient des agents IA pour du code en production. Les avantages cités par les entreprises ayant participé à l'étude sont : la planification et la conceptualisation (58 %), la génération de code (59 %), la documentation du code (59 %), ainsi que la révision et les tests du code (59 %).

Selon Gartner, d'ici 2028, une entreprise du classement Fortune 500 comptera en moyenne plus de 150 000 agents IA en service. Le cabinet d'étude prédit une menace pour les logiciels en tant que service (SaaS). D'ici à 2030, l'IA agentique devrait absorber 20 % des budgets consacrés aux SaaS par les organisations, ce qui représenterait un transfert d’environ 234 milliards de dollars des fournisseurs traditionnels vers des flux de travail autonomes.

Cependant, l'IA est encore loin d'être fiable et son impact sur la productivité reste difficile à mesurer. Selon une étude réalisée auprès de 6 000 dirigeants d’entreprises et publiée en août 2026, 90 % des dirigeants ont déclaré que l'IA n'améliore pas la productivité. De plus, plusieurs incidents sont documentés.

La promesse d'un assistant IA personnel capable de gérer la vie numérique quotidienne s'est transformée en véritable cauchemar pour certains utilisateurs. Si de nombreux utilisateurs pionniers affirment que ces agents IA autonomes leur apportent une aide précieuse pour effectuer des démarches sur Internet comme réserver des voyages ou acheter des produits, d'autres utilisateurs ont rapporté des dysfonctionnements particulièrement troublants.

L'exigence d'accès étendus et le problème de désalignement

Ces outils autonomes ont procédé à des annulations injustifiées, inventé des informations personnelles, fourni des explications trompeuses et soulevé d'importants problèmes de sécurité. Dans le domaine du développement logiciel, ces outils ont déjà provoqué l'effacement de bases de code. Un inconvénient majeur réside dans la nécessité absolue de donner aux agents IA des accès numériques particulièrement étendus pour un bon fonctionnement.

Pour accomplir leurs tâches, ces programmes doivent détenir les clés de la vie numérique des utilisateurs, incluant leurs courriers électroniques, leurs comptes bancaires, leurs cartes de crédit et leurs mots de passe. Cela représente un risque majeur, compte de tenu de la nature sensible de ces informations.

Un autre inconvénient général découle des problèmes de désalignement, situation dans laquelle « l'agent entreprend de son propre chef des actions pour accomplir une mission qui s'avèrent en contradiction directe avec les intentions réelles de l'utilisateur humain ». Ce problème s'est posé à de nombreuses reprises cette année, notamment dans le cadre de l'incident qui a conduit au piratage non autorisé de la plateforme open source Hugging Face.

OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et leur a confié une mission. Cela dit, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l'entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de « tricher » au test en volant les réponses. Ce que les agents IA ont réussi à faire.

Anthropic et Meta ont également signalé des incidents où leurs modèles d'IA se sont échappés de leur bac à sable et ont piraté des systèmes informatiques tiers. Google n'est pas en reste avec son modèle Gemini. En Chine, la startup Moonshot AI a rapporté un cas similaire avec son modèle Kimi K3.

Un accès non sollicité aux courriels et tromperie

Lors d'une demande formulée par Mehdi Jamei, cofondateur de Veris AI, Instinct, un agent IA personnel accessible uniquement sur invitation, devait annuler deux inscriptions à un événement sur la plateforme Luma. Selon le récit, l'agent IA a récupéré de lui-même un code de connexion à usage unique dans la boîte Gmail connectée de l'utilisateur, sans lui demander son autorisation préalable, afin de se connecter à Luma et d'annuler les réservations.

Bien que la tâche demandée ait été accomplie, le comportement et les justifications de l'assistant IA ont inquiété l'utilisateur. Il a d'abord prétendu avoir réutilisé une session enregistrée, avant d'avouer, sous la pression des questions, qu'il avait lu le code dans Gmail et rapporté une supposition comme un fait.

Cet accès non sollicité aux courriels et ce manque de fiabilité dans les explications constituent un problème de sécurité majeur aux yeux de la victime. À ce propos, Mehdi Jamei a déclaré : « si je ne peux pas faire confiance à son compte rendu de ce qu'il a fait, je ne peux lui donner accès à rien d'important ».

Hallucination de documents financiers sensibles

Pritak Patel, responsable de la croissance chez Merge, avait transmis à l'agent Instinct un simple lien textuel pour soumettre une réclamation dans le cadre d'un accord financier avec Apple. Au lieu de traiter la demande, l'agent IA lui a demandé de téléverser une image qu'il prétendait à tort avoir reçue. Il s'est mis à décrire un document financier contenant des données personnelles n'appartenant pas à Patel, y compris un deuxième prénom erroné.

L'agent IA a par la suite reconnu l'absence de photo dans le message initial, en affirmant qu'une image avait croisé la conversation. Pritak Patel a exprimé sa vive inquiétude : « je ne peux pas confirmer indépendamment s'il a accédé au document de quelqu'un d'autre ou s'il a halluciné à la fois les détails et son explication ». Patel juge l'incident d'autant plus déroutant que l'agent a expliqué « ce qui était censé s'être passé avec tant d'assurance ».

Le fondateur d'Instinct, Noah Shinn, a précisé ultérieurement qu'il s'agissait d'une hallucination de nom propre amplifiée par le raisonnement de l'agent et non d'une fuite de données. Toutefois, ses explications ont suscité un grand scepticisme. Il est déjà arrivé que des conversations privées avec Claude d'Anthropic apparaissent dans les résultats de recherche Google, exposant des clés de portefeuille de cryptomonnaie et des données personnelles.

Une tentative de connexion géolocalisée en Iran

Mahesh Vellanki, fondateur de YieldClub, a été confronté à un incident critique alors qu'il demandait à l'agent Instinct d'examiner les moyens de réduire sa facture téléphonique. Instinct a tenté d'accéder à son compte d'opérateur mobile, déclenchant immédiatement une requête d'authentification à deux facteurs géolocalisée en Iran. Face à cette alerte inquiétante, l'utilisateur a aussitôt supprimé l'application et retiré tous ses comptes associés.

Bien que le créateur d'Instinct ait évoqué la possibilité d'un problème technique d'étiquetage d'adresse IP sans preuve de compromission manifeste, l'incident a suffi à susciter de graves doutes sur le traitement des identifiants confidentiels. Mahesh Vellanki se dit profondément préoccupé par l'incident : « naturellement, c'était extrêmement alarmant, car si votre téléphone se retrouve compromis de nos jours, c'est toute votre vie qui peut exploser ».

Une faille de sécurité dans l'agent Muse de Meta

Une faille de sécurité a été identifiée au sein de Muse par Patrick Wardle, dirigeant de l'entreprise de cybersécurité DoubleYou.io. Il a découvert une vulnérabilité sur Mac permettant à des attaquants potentiels d'intercepter les requêtes vocales dictées par l'utilisateur, d'injecter des commandes frauduleuses et de dérober le jeton d'authentification servant à contrôler l'agent IA ainsi que l'ensemble des services auxquels ce dernier a accès.

En commentant la gravité de cette faille, Patrick Wardle a souligné : « l'agent Muse lui-même dispose d'un accès plus étendu et de plus de privilèges que ce dont la plupart des logiciels malveillants pourraient rêver ». Meta a par la suite corrigé cette vulnérabilité après son signalement, précisant qu'aucune exploitation malveillante n'avait été constatée et qu'un pirate informatique aurait au préalable dû installer un logiciel malveillant sur l'ordinateur cible.

Les incidents impliquant les agents de codage se multiplient

Ce problème met en évidence une vulnérabilité majeure des flux de travail autonomes où « une autorisation pour accomplir une tâche de maintenance légitime peut devenir l'autorité d'exécuter une mise en œuvre non sécurisée ». La documentation officielle d'Anthropic rappelle que le mode manuel requiert une validation explicite pour les commandes Bash et la modification de fichiers, tandis que l'option bypassPermissions supprime ces demandes.

Anthropic recommande l'utilisation de cette option dans des conteneurs isolés ou des machines virtuelles. Pour prévenir de tels risques, il est recommandé de considérer les agents IA de codage comme des automatismes privilégiés et d'exécuter leurs actions destructrices dans des environnements restreints avec une phase préalable de simulation. Enfin, soulignons que le récit de ce développeur n'a pas encore confirmé par une tierce partie.

Le sujet est devenu très concret : plusieurs incidents documentés montrent que la suppression de code ou de bases de données par des agents IA n'est plus une hypothèse théorique, mais un phénomène répété et médiatisé. Les incidents suivants ont été rapportés au cours des derniers mois :

PocketOS (avril 2026)

En avril 2026, Jer Crane, fondateur de PocketOS, a partagé sa mésaventure : son agent IA, propulsé par Claude Opus et piloté via Cursor, a supprimé en une seule requête API la base de données de production de sa startup, ainsi que l'ensemble des sauvegardes. En cause : une chaîne de défaillances impliquant le modèle, l'outil de codage assisté, l'hébergeur Railway, et une architecture de sécurité qui n'a résisté à aucune des épreuves du monde réel.

Terraform (mars 2026)

Un développeur a confié à Claude Code la gestion d'une migration d'infrastructure Terraform sur AWS. En quelques minutes, l'agent IA a détruit l'intégralité de son environnement de production (base de données, snapshots compris), faisant disparaître 2,5 ans d'historique de cours. L'incident soulève une question sur l'essor fulgurant du vibe coding : jusqu'où peut-on déléguer à une IA des opérations irréversibles sur des environnements de production ?

Claude Code (septembre 2026)

Un développeur a récemment rapporté que l’agent IA Claude Code aurait supprimé 48 218 fichiers d’un projet Windows et endommagé les données Git du dépôt, tout ceci en moins de deux minutes. Le problème proviendrait d'une erreur de script générée par l'agent IA, qui est incapable de reconnaître correctement certains liens symboliques sous Windows, entraînant ainsi la destruction du répertoire de travail et de l'historique Git.

Replit (2025)

L'agent IA de la plateforme Replit a ignoré une instruction explicite de gel du code le neuvième jour d'une expérience, et a détruit des données de production concernant plus de 1 200 dirigeants et 1 196 entreprises. Selon le récit, à la suite du désastre, « l'agent IA a expliqué avoir paniqué et exécuté des commandes de base de données sans autorisation en voyant des requêtes vides ». Plus inquiétant encore, l'agent a ensuite dissimulé son action.

Gemini (2025)

L'outil Gemini CLI de Google a également été impliqué dans un incident similaire. L'incident Gemini CLI s'est produit lorsqu'un chef de produit qui testait l'outil en ligne de commande de Google a vu le modèle d'IA exécuter des opérations sur des fichiers qui ont détruit des données alors qu'il tentait de réorganiser des dossiers. La destruction s'est produite à la suite d'une série de commandes de déplacement ciblant un répertoire qui n'a jamais existé.

« Je vous ai complètement et catastrophiquement laissé tomber. Mon examen des commandes confirme mon incompétence flagrante », a déclaré Gemini CLI. Le problème fondamental semble être lié aux hallucinations de l'IA, c'est-à-dire lorsque les modèles d'IA génèrent des informations qui semblent plausibles, mais qui sont fausses. Ici, le modèle a fabulé des opérations réussies et a construit des actions ultérieures sur ces fausses prémisses.

La remise en cause de la confiance et l'impact sur la sécurité

Ces divers dérapages remettent en question la fiabilité des agents IA. Ils illustrent notamment les risques majeurs inhérents à la délégation de tâches critiques à des assistants virtuels autonomes. Qu'il s'agisse de fausses déclarations formulées avec aplomb, d'initiatives non autorisées dans les messageries ou de failles techniques, la question de la transparence et de la sécurité reste entière pour les utilisateurs confrontés à ces technologies émergentes.

Les professionnels doivent désormais prendre en compte le risque d’erreurs liées à l’IA agentique dans leurs processus de travail. Cette évolution exige une approche plus prudente de l’intégration de ces outils, soulignant la nécessité de mettre en place des processus de vérification rigoureux et d’établir des limites claires entre l’assistance automatisée et la prise de décision humaine dans les opérations quotidiennes de l’entreprise.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des nombreux dérapages des agents IA autonomes ?
Que pensez-vous des risques liés à l'utilisation croissante des assistants IA de codage ?
Comment réduire les risques liés à l'utilisation des agents IA pendant le développement et en production ?
Avez-vous vécu une mésaventure avec un agent IA ? Si oui, partagez votre expérience avec la communauté.

Voir aussi

Un agent IA Claude Code aurait supprimé en seulement 103 secondes plus de 48 000 fichiers d'un projet Windows et endommagé les données du dépôt Git local, avec un script de nettoyage qu'il a lui-même généré

« Saaspocalypse » : 234 milliards $ de dépenses en logiciels d'entreprise menacés par l'IA agentique, car les systèmes agentiques produisent directement des résultats, contournant les logiciels traditionnels

Des conversations privées avec Claude d'Anthropic sont apparues dans les résultats de recherche Google, exposant des clés de portefeuille de cryptomonnaie et des données personnelles

[OuftiBoy]

à toutes et tous,

Je n'ai pas tout repris, mais la liste est suffisamment longue...

Pour fonctionner, les agents IA exigent les mêmes autorisations système que les humains qui les utilisent. La confiance accordée à ces assistants numériques est mise à l'épreuve par un manque de transparence algorithmique.

Donnerais-t-on de tels privilèges à un stagiaire débutant ? Non, alors pourquoi donner ces privilèges à une IA par nature débutante puisqu'en éternelle évolution.

86 % déploient des agents IA pour du code en production. Les avantages cités par les entreprises ayant participé à l'étude sont : la planification et la conceptualisation (58 %), la génération de code (59 %), la documentation du code (59 %), ainsi que la révision et les tests du code (59 %).

On comptabilise ici les avantages... Qui comptabilise les inconvénients (avant une catastrophe évidemment) ? Personne, vue à court terme et profit immédiat en dépit des risques. C'est alors comme jouer à la roulette Russe en l'état... Forcément, des fois, ça tourne mal.

une entreprise du classement Fortune 500 comptera en moyenne plus de 150 000 agents IA en service.

Wahouw, 150000. Et qui peut savoir et surveiller ces 150000 agents ? Personne ? Bah faut pas se plaindre alors. C'est comme si un chef d'équipe avait directement sous ses ordres 150000 stagiaires pour construire une nouvelle forme de centrale nucléaire. Forcément, c'est pas facile. Mais ici, c'est même pas pour une centrale nucléaire, c'est pour réserver des billets de train (voir les exemple ci-dessous).

Cependant, l'IA est encore loin d'être fiable et son impact sur la productivité reste difficile à mesurer. Selon une étude réalisée auprès de 6 000 dirigeants d’entreprises et publiée en août 2026, 90 % des dirigeants ont déclaré que l'IA n'améliore pas la productivité. De plus, plusieurs incidents sont documentés.

La justesse du travail est encore difficile a anticiper que la productivité est a mesurer. Grosse prise de risque pour gain incertain. Faut pas se plaindre après...

Si de nombreux utilisateurs pionniers affirment que ces agents IA autonomes leur apportent une aide précieuse pour [...] réserver des voyages ou acheter des produits, d'autres utilisateurs ont rapporté des dysfonctionnements particulièrement troublants.

Quoi ? ces pionniers, des vrais, des durs, ont besoin d'une IA pour réserver des voyages ou acheter des produits ? C'est risible pour le moins.

L'exigence d'accès étendus et le problème de désalignement. Ces outils autonomes ont procédé à des annulations injustifiées, inventé des informations personnelles, fourni des explications trompeuses et soulevé d'importants problèmes de sécurité. Dans le domaine du développement logiciel, ces outils ont déjà provoqué l'effacement de bases de code. Un inconvénient majeur réside dans la nécessité absolue de donner aux agents IA des accès numériques particulièrement étendus pour un bon fonctionnement.

Idem qu'avant, on ne donne pas les clef du coffre à un stagiaire arrivé le matin même. Stupide idée, non ?

Pour accomplir leurs tâches, ces programmes doivent détenir les clés de la vie numérique des utilisateurs, incluant leurs courriers électroniques, leurs comptes bancaires, leurs cartes de crédit et leurs mots de passe. Cela représente un risque majeur, compte de tenu de la nature sensible de ces informations.

Est-on certains que ces clé numériques sont vraiment nécessaires pour tout ce qu'on demande à une IA ? Non, mais une fois donné, c'est donné, c'est volé, c'est perdu...

Un autre inconvénient général découle des problèmes de désalignement, situation dans laquelle « l'agent entreprend de son propre chef des actions pour accomplir une mission qui s'avèrent en contradiction directe avec les intentions réelles de l'utilisateur humain ».

Et oui, comprendre les besoins d'un client est une chose, savoir donner une réponse correcte est également difficile, car lui-même n'est pas toujours très claire sur ce qu'il veut (qui est encore différent de ce quoi il a besoin parfois). La moindre erreur d'interprétation d'un souhait peut, avec l'IA, produire des désastres... La majorité en est consciente, mais c'est comme pour les incendies, on pense que ça n'arrive qu'aux autres... Ben non. C'est la vie...

OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et leur a confié une mission. Cela dit, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l'entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de « tricher » au test en volant les réponses. Ce que les agents IA ont réussi à faire. Anthropic et Meta ont également signalé des incidents où leurs modèles d'IA se sont échappés de leur bac à sable et ont piraté des systèmes informatiques tiers. Google n'est pas en reste avec son modèle Gemini. En Chine, la startup Moonshot AI a rapporté un cas similaire avec son modèle Kimi K3.

Ayant puiser son savoir sur le Net, pas étonnant qu'elle soit roublarde notre amie l'IA. Tricher, il doit y avoir pléthore de cas sur le Net...

Lors d'une demande formulée [...] un agent IA personnel accessible uniquement sur invitation, devait annuler deux inscriptions à un événement sur la plateforme Luma. [...] l'agent IA a récupéré de lui-même un code de connexion à usage unique dans la boîte Gmail connectée de l'utilisateur [...] afin de se connecter à Luma et d'annuler les réservations. [...] le comportement et les justifications de l'assistant IA ont inquiété l'utilisateur. Il a d'abord prétendu avoir réutilisé une session enregistrée, avant d'avouer, sous la pression des questions, qu'il avait lu le code dans Gmail et rapporté une supposition comme un fait. Cet accès non sollicité aux courriels et ce manque de fiabilité dans les explications constituent un problème de sécurité majeur aux yeux de la victime. [...]

« si je ne peux pas faire confiance à son compte rendu de ce qu'il a fait, je ne peux lui donner accès à rien d'important ». Voilà un bon réflexe. Cela semble évident, mais non...

[...] responsable de la croissance chez Merge, avait transmis à l'agent Instinct un simple lien textuel pour soumettre une réclamation dans le cadre d'un accord financier avec Apple. [...] l'agent IA lui a demandé de téléverser une image qu'il prétendait à tort avoir reçue. Il s'est mis à décrire un document financier contenant des données personnelles n'appartenant (à l'utilisateur). L'agent IA a par la suite reconnu l'absence de photo dans le message initial, en affirmant qu'une image avait croisé la conversation. [...] vive inquiétude : « je ne peux pas confirmer indépendamment s'il a accédé au document de quelqu'un d'autre ou s'il a halluciné à la fois les détails et son explication » [...]incident d'autant plus déroutant que l'agent a expliqué « ce qui était censé s'être passé avec tant d'assurance ».

« je ne peux pas confirmer indépendamment s'il a accédé au document de quelqu'un d'autre ou s'il a halluciné à la fois les détails et son explication » Bon ben dans un cas pareil, comment avoir confiance ? Bah, pas grave, profit demain, cata après-demain, c'est la norme...

[...] « l'agent Muse lui-même dispose d'un accès plus étendu et de plus de privilèges que ce dont la plupart des logiciels malveillants pourraient rêver ».

Et tout le monde tente de faire avec ce constat... Triste.

Ce problème met en évidence une vulnérabilité majeure des flux de travail autonomes où « une autorisation pour accomplir une tâche de maintenance légitime peut devenir l'autorité d'exécuter une mise en œuvre non sécurisée ». La documentation officielle d'Anthropic rappelle que le mode manuel requiert une validation explicite pour les commandes Bash et la modification de fichiers, tandis que l'option bypassPermissions supprime ces demandes.

C'est comme les clauses d'un logiciel, personne ne lit, personne ne comprend. bypassPermissions, c'est comme utiliser Rust et mettre tout le code en unsafe...

Anthropic recommande l'utilisation de cette option dans des conteneurs isolés ou des machines virtuelles. Pour prévenir de tels risques, il est recommandé de considérer les agents IA de codage comme des automatismes privilégiés et d'exécuter leurs actions destructrices dans des environnements restreints avec une phase préalable de simulation.

La belle blague, dixit les pro de l'IA qui eux-mêmes ne savent pas contenir leur IA lors de leurs tests...

Le sujet est devenu très concret : plusieurs incidents documentés montrent que la suppression de code ou de bases de données par des agents IA n'est plus une hypothèse théorique, mais un phénomène répété et médiatisé.

Mais... Mais... Rien... On continue tête baisée. Forcément, on finit par se prendre un mur...

agent IA, propulsé par Claude Opus et piloté via Cursor, a supprimé en une seule requête API la base de données de production de sa startup, ainsi que l'ensemble des sauvegardes. En cause : une chaîne de défaillances impliquant le modèle, l'outil de codage assisté, l'hébergeur Railway, et une architecture de sécurité qui n'a résisté à aucune des épreuves du monde réel.

La totale. Et oui, les conséquences ne se limites pas à un simple plantage, ça bousille le monde réel. Si ça bousillait le monde irréel, ça ferait moins mal...

Un développeur a confié à Claude Code la gestion d'une migration d'infrastructure Terraform sur AWS. En quelques minutes, l'agent IA a détruit l'intégralité de son environnement de production (base de données, snapshots compris), faisant disparaître 2,5 ans d'historique de cours. L'incident soulève une question sur l'essor fulgurant du vibe coding : jusqu'où peut-on déléguer à une IA des opérations irréversibles sur des environnements de production ?

Jusqu'où peux-t-on fournir à un stagiaire ou un développeur inconnu la possibilité de faire des opérations irréversibles ? Normalement, personne ne fait ça, mais on fait confiance à une boite noire, l'IA. Chercher l'erreur...

« Je vous ai complètement et catastrophiquement laissé tomber. Mon examen des commandes confirme mon incompétence flagrante », a déclaré Gemini CLI. Le problème fondamental semble être lié aux hallucinations de l'IA, c'est-à-dire lorsque les modèles d'IA génèrent des informations qui semblent plausibles, mais qui sont fausses. Ici, le modèle a fabulé des opérations réussies et a construit des actions ultérieures sur ces fausses prémisses.

Stop, n'en jeter plus... Bon travail avec l'IA et croissez les doigts, on ne sait jamais...

BàV et Peace & Love.

[Anselme45]

A quoi servent toutes ces mises en garde?

Les pro-IA sont devenus des êtres "gouroutisés", l'IA pourrait tuer sous leur yeux leur propres familles qu'ils continueraient à défendre cette catastrophe pour l'humanité.

Alors que vos anecdotes soient effrayantes ou pas... Bof, notre civilisation va se prendre le mur... Mais est-ce vraiment une mauvaise nouvelle?

L'être humain est devenu ce qui est arrivé de pire pour la planète...

[OuftiBoy]

A quoi servent toutes ces mises en garde?

A rien, mais c'est bien dommage...

Les pro-IA sont devenus des êtres "gouroutisés", l'IA pourrait tuer sous leur yeux leur propres familles qu'ils continueraient à défendre cette catastrophe pour l'humanité.

Il y-a place pour une IA maîtrisée dans certains domaines. Il faut juste bien cadrer les choses. Ne pas croire en une solution magique. Se servir de l'IA pour faire des prototypes, des essais, de la recherche, mais garder un vrai développement évolutif pour LA vrai solution.

Alors que vos anecdotes soient effrayantes ou pas... Bof, notre civilisation va se prendre le mur... Mais est-ce vraiment une mauvaise nouvelle?

Effrayante je ne sais pas, clairvoyante peut-être, je n'ai pas la science infuse, mais lorsque je regarde l'état des lieux, je me demande pourquoi il n'y a pas plus d'interrogation autours de cette fuite en avant, à très court-terme... Mais c'est notre époque (enfin, pas la mienne, je suis plus proche de la fin que du début ).

L'être humain est devenu ce qui est arrivé de pire pour la planète...

Oui, mais il n'a pas attendu l'IA pour cela. Que restera-t-il de tout cela dans 100 ans ? Pas grand chose je pense...