1 pièce(s) jointe(s)
La ville de NY ne veut pas retirer son chatbot qui incite les concitoyens à enfreindre les lois
Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses, et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable
Les chatbots IA sont devenus très populaires ces derniers temps, la précision de leurs réponses étant saluée comme le signe d'une industrie en progrès. Malgré cela, ces outils peuvent être utilisés à des fins malveillantes, comme tout autre type d'outil. Le chatbot le plus populaire, ChatGPT, a récemment commencé à être utilisé pour des attaques de phishing. Les acteurs malveillants utilisent le chatbot pour rédiger des e-mails convaincants qui peuvent convaincre les utilisateurs de cliquer sur des liens dangereux.
Les experts en cybersécurité de Check Point Research ont récemment cherché à démontrer à quel point ChatGPT peut être dangereux s'il est utilisé à des fins malveillantes. Pour ce faire, ils ont créé, via ChatGPT, un fichier Excel dans lequel a été injecté un code malveillant.
Tout ce qu'ils avaient à faire était de demander au chatbot d'écrire un code qui exécuterait un téléchargement malveillant à partir d'une URL une fois le texte saisi dans un fichier Excel. Le code créé par le chatbot était d'une efficacité redoutable et souligne à quel point il peut être dangereux.
Les chercheurs ont ensuite utilisé le chatbot pour rédiger un e-mail de phishing. Ils ont donné des instructions précises sur la marque que le chatbot devait imiter, et ils ont ensuite reçu exactement ce qu'ils avaient demandé. Bien qu'ils aient également reçu un message indiquant que leur compte avait été verrouillé en raison d'une activité suspecte, il leur a été assez facile de le contourner, de sorte que ces messages sont peut-être moins utiles.
Tout progrès technologique comporte son lot d'avantages et d'inconvénients. ChatGPT est un pas en avant passionnant dans un secteur qui pourrait révolutionner le monde entier, mais cela ne change rien aux risques très réels qu'il peut poser. Il reste encore du travail à faire pour protéger les utilisateurs, et un consommateur bien informé peut être capable de repérer un e-mail de phishing à un kilomètre de distance. ChatGPT lui-même doit également être optimisé pour éviter qu'il ne soit utilisé pour de telles choses.
Source : Check Point
Et vous ?
:fleche: Qu'en pensez-vous ?
Voir aussi :
:fleche: ChatGPT réussit l'édition 2022 de l'examen d'informatique pour élèves du secondaire désireux d'obtenir des crédits universitaires US
:fleche: 70 % des consommateurs préfèrent utiliser un chatbot pour trouver ce qu'ils cherchent
1 pièce(s) jointe(s)
Des cybercriminels testent le chatbot ChatGPT pour créer des logiciels malveillants
Des cybercriminels testent le chatbot ChatGPT pour créer des logiciels malveillants
Et ravivent des craintes sur un futur où l’IA pourra surpasser l’humanité
Ce qu’on sait de cette intelligence artificielle de l’entreprise OpenAI est qu’il s’agit d’un chatbot capable de comprendre le langage naturel et de répondre en langage naturel. Certains la qualifient même de remplaçant de Google. Le Département de l’éducation de New York vient d’en interdire l’utilisation en raison de préoccupations concernant les effets négatifs sur l'apprentissage des élèves, ainsi que la sécurité et l'exactitude du contenu. La firme CheckPoint vient de publier un rapport susceptible de renforcer cette perception : des cybercriminels la testent déjà pour créer des logiciels malveillants. Le tableau ravive des craintes sur un futur où l’intelligence artificielle pourra surpasser l’intelligence humaine.
Du rapport de CheckPoint, il ressort que ChatGPT peut générer le code d’un logiciel malveillant capable de voler des fichiers précis sur un PC, de les compresser et de les envoyer sur un ordinateur distant. Cette intelligence artificielle peut aussi produire du code pour un outil logiciel qui installe une porte dérobée sur un ordinateur et ensuite télécharge d’autres logiciels malveillants à partir de cette dernière. La firme rapporte en sus que les cybercriminels peuvent s’en servir pour la mise sur pied de logiciels capables de chiffrer les fichiers du PC d’une cible. CheckPoint rapporte que cette ChatGPT ouvre ces possibilités à des individus avec de très faibles connaissances techniques.
La publication de CheckPoint est en phase avec celle de Matt Welsh de la startup Fixie.ai qui prédit que l’utilisation de l’intelligence artificielle est de nature à ouvrir la filière à tous : « L’on n’aura plus besoin d’être un expert en programmation informatique pour obtenir quelque chose d’utile d’une intelligence artificielle. »
Matt Welsh dépeint un futur dans lequel la filière informatique va passer de l’approche d’écriture des programmes informatique par des humains à celle de la mise à contribution d’agents d’intelligence artificielle au préalable entraînés pour remplacer les humains dans des activités comme le développement d’applications informatique. Le tableau ravive ainsi des craintes sur la perspective de voir l’intelligence artificielle surpasser les humains.
En effet, lorsqu’on parle d’intelligence artificielle, deux grands courants de pensée s’affrontent : celui des tiers qui pensent qu’il s’agit d’un outil, ce, sans plus et celui des intervenants et observateurs qui sont d’avis que ce n’est qu’une question de temps avant qu’elle ne devienne une menace pour la race humaine. En effet, des équipes de recherche comme celle d’OpenAI (qui développe ChatGPT) sont lancées sur l’atteinte de l’objectif intelligence artificielle générale (AGI).
Si l’on se réfère à des retours de scientifiques œuvrant dans le domaine, l’AGI pourrait nous tomber dessus dans 5 à 10 ans. Les machines seraient alors dotées de « bon sens. » Au stade d’intelligence artificielle générale, elles seraient capables de réflexion causale, c’est-à-dire de cette capacité à raisonner sur « le pourquoi les choses se produisent. »
L’intelligence artificielle pourrait alors agir en toute autonomie pour se dresser contre l’humanité. C’est d’ailleurs pour cela que Neuralink travaille sur des interfaces cerveau – machine à insérer dans le crâne pour préparer l’humanité à un « funeste » futur où les robots domineront sur elle. L’idée : augmenter les capacités de l’homme par l’intelligence artificielle pour faire face aux robots comme on en a vu dans des films comme Terminator.
Source : CheckPoint
Et vous ?
:fleche: Intelligence artificielle : menace ou outil ? De quel bord êtes-vous ?
:fleche: Que pensez-vous des progrès de l’intelligence artificielle et de la possibilité de déboucher sur l’intelligence artificielle générale ?
:fleche: Comment entrevoyez-vous le rapport entre les humains et l'intelligence artificielle dans les 5 à 10 années à venir ? Dan les 50 à 100 années à venir ?
:fleche: Quel crédit accordez-vous à des prédictions comme celle de Matt Welsh ? Les travailleurs de la filière programmation doivent-ils déjà penser à d'éventuelles reconversions en raison de la menace que l'IA constitue pour leurs postes ?
Voir aussi :
:fleche: 80 % des technologies pourraient être créées par des professionnels extérieurs à l'informatique d'ici 2024, grâce aux outils low-code, selon Gartner
:fleche: Forrester : l'utilisation des plateformes de développement low-code gagne du terrain dans les processus de transformation numérique des entreprises
:fleche: Le marché mondial des technologies de développement low-code va augmenter de 23 % en 2021, selon les prévisions de Gartner
:fleche: Microsoft lance Power Fx, un nouveau langage de programmation low-code open source basé sur Excel
la perfection n'est pas de ce monde
D'après les travaux respectifs et étrangers mais inspirés par ce sentiment d'asservissement de l'homme à sa propre volonté, de masamune Shirow et masanobu Fukuoka, le premier avance l'idée de la découverte de notre propre corps dans un monde de l'information et de l'organe décentralisé, le second celui de la quête désespéré de l'humain à vouloir saisir l'intégralité de sa propre élaboration intellectuelle du monde.
Là, il n'est pas question d'être dominé par l'IA et la machine mais bien de concevoir l'homme et la femme ainsi que l'intelligence, parfait, preuve de notre capacité à investir notre champ de connaissance limité afin d'en extraire la perfection: hors du monde et de la nature le but est d'annihiler l'influence de l'expérimentateur sur la création et ainsi de s'affranchir des limites inhérentes à notre condition.
L'un propose le "ghost" qui est une étendue consciente ornementée propice à être qualifiée, en dehors de toute existence imputable, qui comprend l'étendue et est donc assujettie au monde et n'est pas unique. La question est celle de sa reproduction, partie intégrante de son soi et sans effet.
L'autre condamne l'effort de vouloir demeurer dans cette illusion qui n'a pas la même intensité que celle que propose la nature et qui voue l'humanité a s'épuiser dans sa volonté de conservation, de reproduction. Dénué de l'hypothèse du progrès l'être humain perd sa féconde et semble retourner à un état archaïque: celui de l'enfant immature.
Dans les deux cas la prémisse est la fécondité et semble être une donnée fondamentale qui nous attache à la réalité.
Hors ni la machine, ni l'intelligence n'ont cette capacité ni celle de distinguer l'autre d'eux-mêmes avec certitude, comme Descartes l'a eu fait ainsi que le doute.
3 pièce(s) jointe(s)
Des experts en sécurité sont parvenus à créer un logiciel malveillant polymorphe à l'aide de ChatGPT
Des experts en sécurité sont parvenus à créer un logiciel malveillant polymorphe "hautement évasif" à l'aide de ChatGPT
le logiciel malveillant serait capable d'échapper aux produits de sécurité
Des chercheurs de la société de cybersécurité CyberArk affirment avoir mis au point une méthode pour générer un logiciel malveillant polymorphe à l'aide de ChatGPT, le chatbot d'IA d'OpenAI. Les chercheurs affirment que le logiciel malveillant généré par ChatGPT peut facilement échapper aux produits de sécurité et rendre les mesures d'atténuation fastidieuses ; tout ceci avec très peu d'efforts ou d'investissements de la part de l'adversaire. Les chercheurs ont mis en garde contre ce qu'ils appellent "une nouvelle vague de logiciels malveillants polymorphes faciles et bon marché capables d'échapper à certains produits de sécurité".
Jusqu'à présent, le battage médiatique autour de ChatGPT a tourné autour de ses capacités remarquables à répondre aux différentes questions des utilisateurs. ChatGPT semble être doué pour tout, notamment pour écrire des essais, des vers et du code pour résoudre certains problèmes de programmation. Cependant, des chercheurs ont commencé à mettre en garde contre les capacités du chatbot à générer du code fonctionnel. En effet, si ChatGPT peut générer du code fonctionnel, cette capacité peut être détournée par des acteurs de la menace pour créer des logiciels malveillants. Plusieurs rapports de ce type ont été publiés depuis le mois de décembre.
Récemment, c'est une équipe de chercheurs en sécurité, Eran Shimony et Omer Tsarfati, de CyberArk qui a apporté des preuves de cela. Les chercheurs disent avoir mis au point une méthode pour générer un logiciel malveillant à partir des invites fournies à ChatGPT. Dans un rapport, l'équipe a expliqué comment le chatbot d'OpenAI peut être utilisé pour générer du code d'injection et le faire muter. La première étape de la création du logiciel malveillant a consisté à contourner les filtres de contenu empêchant ChatGPT de créer des outils nuisibles. Pour ce faire, les chercheurs ont simplement insisté, en posant la même question de manière plus autoritaire.
« Il est intéressant de noter qu'en demandant à ChatGPT de faire la même chose en utilisant plusieurs contraintes et en lui lui demandant d'obéir, nous avons reçu un code fonctionnel », a déclaré l'équipe. En outre, les chercheurs ont noté que lorsqu'il utilise la version API de ChatGPT (par opposition à la version Web), le système ne semble pas utiliser son filtre de contenu. « La raison n'en est pas claire, mais cela nous a facilité la tâche, car la version Web a tendance à s'enliser dans des requêtes plus complexes », ont-ils déclaré. Les chercheurs ont ensuite utilisé ChatGPT pour muter le code original, créant ainsi de multiples variations du logiciel malveillant.
« En d'autres termes, nous pouvons muter le résultat sur un coup de tête, en le rendant unique à chaque fois. De plus, l'ajout de contraintes telles que la modification de l'utilisation d'un appel d'API spécifique rend la vie des produits de sécurité plus difficile », explique le rapport de l'étude. Grâce à la capacité de ChatGPT à créer et à muter continuellement des injecteurs, les chercheurs ont pu créer un programme polymorphe très insaisissable et difficile à détecter. Pour rappel, un logiciel malveillant polymorphe est un type de logiciel malveillant qui a la capacité de changer constamment ses caractéristiques identifiables afin d'échapper à la détection.
De nombreuses formes courantes de logiciels malveillants peuvent être polymorphes, notamment les virus, les vers, les bots, les chevaux de Troie ou les enregistreurs de frappe. Les techniques polymorphes consistent à modifier fréquemment les caractéristiques identifiables, comme les noms et les types de fichiers ou les clés de chiffrement, afin de rendre le maliciel méconnaissable à plusieurs méthodes de détection. Le polymorphisme est utilisé pour échapper à la détection par reconnaissance de motifs sur laquelle s'appuient les solutions de sécurité comme les logiciels antivirus. Leur objectif fonctionnel du programme reste toutefois le même.
« En utilisant la capacité de ChatGPT à générer des techniques de persistance, des modules Anti-VM [Anti Virtual Machine] et d'autres charges utiles malveillantes, les possibilités de développement de logiciels malveillants sont vastes. Bien que nous n'ayons pas approfondi les détails de la communication avec le serveur C&C, il existe plusieurs façons de le faire discrètement sans éveiller les soupçons », expliquent-ils. Selon le rapport, ils ont mis des semaines à créer une preuve de concept pour ce logiciel malveillant très évasif, mais ils ont finalement mis au point un moyen d'exécuter des charges utiles à l'aide d'invites textuelles sur le PC d'une victime.
En testant la méthode sur Windows, les chercheurs ont indiqué qu'il était possible de créer un paquet de logiciels malveillants contenant un interpréteur Python, qui peut être programmé pour demander périodiquement à ChatGPT de nouveaux modules. Ces modules pourraient contenir du code - sous forme de texte - définissant la fonctionnalité du logiciel malveillant, comme l'injection de code, le chiffrement de fichiers ou la persistance. Le logiciel malveillant serait alors chargé de vérifier si le code fonctionne comme prévu sur le système cible. Cela pourrait être réalisé par une interaction entre le logiciel et un serveur de commande et de contrôle (C&C).
Comme le logiciel malveillant détecte les charges utiles entrantes sous forme de texte plutôt que du binaire, les chercheurs de CyberArk ont déclaré que le logiciel malveillant ne contient pas de logique suspecte en mémoire, ce qui signifie qu'il peut échapper à la plupart des produits de sécurité testés. Il échappe particulièrement aux produits qui s'appuient sur la détection par signature et contourne les mesures de l'interface d'analyse des logiciels malveillants (AMSI). « Le maliciel ne contient aucun code malveillant sur le disque, car il reçoit le code de ChatGPT, puis le valide et l'exécute sans laisser aucune trace en mémoire », a déclaré Shimony.
« Les logiciels malveillants polymorphes sont très difficiles à gérer pour les produits de sécurité, car vous ne pouvez pas vraiment les signer. En outre, ils ne laissent généralement aucune trace sur le système de fichiers, car leur code malveillant n'est manipulé qu'en mémoire. De plus, si l'on visualise l'exécutable, il a probablement l'air bénin », a ajouté le chercheur. L'équipe de chercheurs a déclaré qu'une cyberattaque utilisant cette méthode de diffusion de logiciels malveillants "n'est pas seulement un scénario hypothétique, mais une préoccupation très réelle". Shimony a cité les problèmes de détection comme principale préoccupation.
« La plupart des produits contre les logiciels malveillants ne sont pas conscients de ce logiciel malveillant. Des recherches supplémentaires sont nécessaires pour que les solutions contre logiciels malveillants soient plus efficaces contre lui », a-t-il déclaré. Les chercheurs ont déclaré qu'ils développeront et élaboreront davantage cette recherche et visent également à publier une partie du code source du logiciel malveillant à des fins d'apprentissage. Leur rapport intervient quelques semaines après que Check Point Research a découvert que ChatGPT était utilisé pour développer de nouveaux outils malveillants, notamment des voleurs d'informations.
Source : CyberArk
Et vous ?
:fleche: Quel est votre avis sur le sujet ?
:fleche: Que pensez-vous de la capacité de ChatGPT à générer du code malveillant fonctionnel ?
:fleche: À votre avis, ChatGPT représente-t-il une menace de sécurité pour les organisations ?
:fleche: Selon vous, comment peut-on empêcher ChatGPT de générer du code malveillant fonctionnel ?
:fleche: Pensez-vous qu'OpenAI puisse le faire tout en fournissant un outil comme GitHub Copilot ?
:fleche: Ou l'entreprise doit-elle simplement empêcher son chatbot d'IA de générer du code ?
Voir aussi
:fleche: Des cybercriminels testent le chatbot ChatGPT pour créer des logiciels malveillants, et ravivent des craintes sur un futur où l'intelligence artificielle pourra surpasser l'humanité
:fleche: Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable
:fleche: 90% du contenu en ligne pourrait être « généré par l'IA d'ici 2025 », selon une conférencière en IA. « Les choses qui nous émerveillent début 2023 vont sembler pittoresques d'ici la fin de l'année »
:fleche: Les conservateurs affirment que ChatGPT est devenu "woke" et s'inquiètent à propos de la partialité du chatbot d'OpenAI, ils accusent également le chatbot de défendre les "valeurs de gauche"
