Les failles de sécurité dans les applications d'IA et de ML montent en flèche, le nombre de vulnérabilités Zero Day liées à l'IA a triplé depuis novembre 2023, selon les dernières conclusions de Protect AI

Le nombre de vulnérabilités Zero Day liées à l'IA a triplé depuis novembre 2023, selon les dernières conclusions de la communauté huntr de Protect AI, qui compte plus de 15 000 mainteneurs et chercheurs en sécurité.

Rien qu'en avril 2024, 48 vulnérabilités ont déjà été découvertes dans des projets de logiciels libres largement utilisés, tels que MLFlow, Ray et Triton Inference Server.

Ce chiffre représente une augmentation de 220 % par rapport aux 15 vulnérabilités signalées pour la première fois en novembre.

Parmi ces vulnérabilités, le rapport met en évidence une menace particulièrement répandue : l'exécution de code à distance (RCE), qui permet à un pirate d'exécuter des commandes ou des programmes sur l'ordinateur ou le serveur d'une victime sans avoir besoin d'y accéder physiquement. Le pirate peut prendre le contrôle total du système compromis, ce qui peut entraîner des accès non autorisés, des violations de données, la compromission du système, voire la prise de contrôle totale du système.

Les statistiques inquiétantes de Protect AI soulignent l'accélération de l'ampleur et de la rapidité du problème Zero Day de l'IA/ML, et suggèrent un besoin croissant de mesures de sécurité renforcées dans les environnements de développement de l'IA.


Anciennes vulnérabilités, nouvelles pratiques

Du point de vue de Marcello Salvati, chercheur principal en menaces chez Protect AI, le rapport fait état de plusieurs vulnérabilités intéressantes liées aux outils d'IA/ML.

"Si je devais en citer deux qui sortent du lot, ce serait probablement le PyTorch Serve RCE et le BentoML RCE", a déclaré Salvati. Les deux permettent aux attaquants d'obtenir un RCE sur le serveur qui exécute ces projets populaires.

PyTorch et BentoML sont également des serveurs d'inférence, ce qui signifie qu'ils sont conçus pour être exposés aux utilisateurs afin qu'ils puissent utiliser des modèles d'IA/ML. "Ce facteur rend ces vulnérabilités extrêmement faciles et précieuses à exploiter pour un attaquant", a expliqué M. Salvati.

La quantité de vulnérabilités d'applications web de base découvertes dans ces projets d'IA/ML est la plus grande surprise du rapport. "Ces types de vulnérabilités sont rarement observés dans la majorité des applications web de nos jours en raison de la prévalence de pratiques de codage sécurisées et de frameworks web dotés de garde-fous de sécurité 'intégrés'", a déclaré M. Salvati.

La résurgence de ces types de vulnérabilités indique que la sécurité n'est pas prise en compte dans les outils liés à l'IA/ML, a déclaré M. Salvati. Cela va à l'encontre de toutes les leçons qui ont été tirées au cours de la dernière décennie.

L'outil LLM, une faille de sécurité

Du point de vue de Protect AI, les outils LLM devenant de plus en plus populaires, les projets immatures en matière de sécurité sont déployés à un rythme élevé. Les organisations peuvent se sentir obligées d'adopter des projets de sécurité basés sur le LLM en raison de pressions concurrentielles ou du désir de rester en tête dans le paysage des menaces en constante évolution.

Cependant, l'adoption rapide de ces projets soulève des inquiétudes quant à la maturité de la sécurité. Dans leur hâte de déployer des outils LLM, les organisations peuvent négliger des aspects cruciaux de la sécurité, tels que des évaluations complètes des risques, des protocoles de test robustes et l'adhésion aux meilleures pratiques de l'industrie.

En conséquence, le risque existe de déployer des solutions qui ne sont pas suffisamment renforcées contre les menaces émergentes ou qui n'offrent pas les garanties nécessaires pour protéger les données et les actifs sensibles. Les organisations doivent donner la priorité à la maturité de la sécurité en même temps qu'à l'innovation.

Adopter le principe du moindre privilège et du Zero Trust

L'adoption de l'IA se fait à une vitesse fulgurante (certains diraient même imprudente). Pour que les organisations et les équipes de sécurité se protègent contre une menace qui se développe et mûrit rapidement, M. Salvati a déclaré que l'adoption d'une sécurité standard pour les applications web est un enjeu de taille.

"Le concept du moindre privilège s'applique ici, tout comme l'adoption de modèles de sécurité tels que la confiance zéro", explique M. Salvati. "Plus important encore, formez vos développeurs et vos ingénieurs en IA aux pratiques de codage sécurisées et aux principes de sécurité de base." Les audits de sécurité internes des nouveaux outils et bibliothèques d'IA/ML avant leur déploiement réduisent également les risques.

Compte tenu du rythme d'accélération de l'espace IA/ML, il est extrêmement difficile de faire des prévisions à 12-24 mois. "La seule chose dont je suis certain, c'est que les entreprises seront plus souvent victimes d'atteintes à la sécurité parce qu'elles auront adopté ces outils à toute vapeur", prévient M. Salvati.

Source : "Protect AI's April 2024 Vulnerability Report" (Protect AI)

Et vous ?

Quelle lecture faites-vous de cette situation ?
Trouvez-vous les résultats de ce rapport de Protect AI crédibles ou pertinents ?

Voir aussi :

Gartner identifie les principales tendances en matière de cybersécurité pour 2024 : les responsables de la sécurité doivent se préparer à l'évolution rapide de la GenAI

ChatGPT : une faille de sécurité expose 24 adresses e-mail malgré les dispositions prises par OpenAI, tandis que des experts alertent sur le risque de création de « jardins clos d'IA »

Les États-Unis vont lancer leur propre institut de sécurité de l'IA, afin d'évaluer les risques émergents des modèles d'IA avancés et de traiter les impacts connus