Pourquoi les chatbots IA peuvent-ils représenter un risque pour la sécurité des opérations commerciales ?
Pourquoi les chatbots IA peuvent-ils représenter un risque pour la sécurité des opérations commerciales ? les LLM sont encore une forme de technologie très récente, à utiliser avec prudence
Les chatbots IA tels que ChatGPT ont le potentiel de modifier complètement et fondamentalement la forme et le visage de la technologie telle qu'on la connaît. Malgré cela, ils présentent également de graves dangers dont il faut tenir compte. Le Centre national de cybersécurité britannique, ou NSCS, appelle désormais les entreprises à se méfier de l'utilisation ou de l'intégration de chatbots IA, quelle qu'en soit la capacité.
Selon le NSCS, l'utilisation de chatbots d'IA peut être préjudiciable, car peut potentiellement mettre les serveurs en danger. Ces chatbots peuvent être utilisés pour créer toutes sortes de codes et d'algorithmes malveillants qui rendraient la cybersécurité bien plus difficile qu'elle ne l'aurait été autrement.
Le principal problème est que les modèles de langage à grande échelle (Large Language Models) sont encore une forme de technologie très récente, et qu'il est donc impossible de savoir quels dangers cachés peuvent s'y trouver. Il y a un manque certain de compréhension de ce que cette technologie pourrait finir par faire dans un avenir proche, et jusqu'à ce que plus de connaissances et de contexte soient acquis, il serait déraisonnablement risqué de les utiliser ici et maintenant.
d'autres outils d'IA peuvent également générer des textes à consonance humaine qui peuvent manipuler les chatbots. Les acteurs malveillants peuvent faire des ravages de cette manière, en envoyant des commandes malveillantes aux chatbots qui pourraient faire s'écrouler toute l'infrastructure.
Si une banque utilisait un chatbot IA, des acteurs malveillants pourraient lui envoyer des commandes qui faciliteraient la réalisation de transactions illégales. Les chatbots pourraient recevoir une injection SQL qui les amènerait à demander à un client d'effectuer une transaction, et comme le client supposerait que ce message provient de la banque, il pourrait ne pas être conscient de ce qui se passe réellement.
Soyez prudent lorsque vous construisez à partir de LLM : les grands modèles de langage sont une technologie passionnante, mais notre compréhension de ces modèles est encore "en phase bêta".
Depuis la sortie de ChatGPT fin 2022, les grands modèles linguistiques (LLM) ont suscité l'intérêt et la curiosité du monde entier. Si, dans un premier temps, cela s'est traduit par un nombre sans précédent d'inscriptions d'utilisateurs à ChatGPT1, ces derniers mois, des produits et des services ont été créés avec des intégrations LLM pour un usage interne et pour les clients. Des organisations de tous les secteurs indiquent qu'elles étudient la possibilité d'intégrer des LLM à leurs services ou à leurs activités.
En tant que domaine en pleine évolution, même l'accès commercial payant aux LLM change rapidement. Les modèles étant constamment mis à jour sur un marché incertain, une startup offrant un service aujourd'hui pourrait ne plus exister dans deux ans. Par conséquent, si vous êtes une organisation qui crée des services utilisant des API LLM, vous devez tenir compte du fait que les modèles peuvent changer derrière l'API que vous utilisez (en interrompant les invites existantes), ou qu'une partie essentielle de vos intégrations peut cesser d'exister.
Ainsi, malgré l'enthousiasme compréhensible suscité par les LLM, la communauté technologique mondiale ne comprend pas encore parfaitement les capacités, les faiblesses et (surtout) les vulnérabilités des LLM. Bien qu'il existe déjà plusieurs API LLM sur le marché, on pourrait dire que notre compréhension des LLM est encore "en version bêta", même si de nombreuses recherches mondiales en cours aident à combler les lacunes.
Le défi posé par les LLM est que, bien qu'il s'agisse fondamentalement de ML, les LLM (ayant été formés sur des quantités de données de plus en plus importantes) montrent maintenant certains signes de capacités d'IA plus générales. Les créateurs de LLM et les universitaires tentent encore de comprendre exactement comment cela se produit et il a été dit qu'il est plus exact de dire que nous avons "développé" les LLM plutôt que de les avoir "créés". Il serait en effet plus utile de considérer les LLM comme une troisième entité que nous ne comprenons pas encore totalement, plutôt que d'essayer d'appliquer notre compréhension de la ML ou de l'AGI.
Les chercheurs et les vendeurs ont déjà constaté certains problèmes. La recherche suggère qu'un LLM ne peut intrinsèquement pas faire la distinction entre une instruction et les données fournies pour aider à compléter l'instruction. Dans un exemple, l'invite utilisée pour créer le chatbot d'une organisation alimenté par un LLM (avec les encouragements appropriés d'un utilisateur hostile) a été détournée pour amener le chatbot à faire des déclarations bouleversantes ou embarrassantes, qui ont ensuite été rapidement diffusées sur les médias sociaux.
Source : NSCS
Et vous ?
Trouvez-vous cette analyse crédible ou pertinente ?
Voir aussi :
Répondre avec citation
Partager