Discussion :

[Eliora]

Mistral met en open source Shieldstral, un système de contrôle de sécurité multimodal 3B acceptant des politiques en langage naturel à l'inférence pour évaluer les textes et les images sans réentraînement

Mistral a discrètement mis au point une solution intéressante en matière de modération avec « Shieldstral », un classificateur de sécurité multimodal de 3 milliards de paramètres. Ce modèle fonctionne sur un seul GPU Nvidia de 16 Go et égale ou surpasse les modèles OpenGuard jusqu'à 7 fois plus volumineux. Au lieu de choisir parmi une taxonomie fixe de catégories de préjudice, vous rédigez la politique qui vous intéresse sous la forme d'une question en langage naturel. Mistral présente cette annonce comme la première publication issue de l'Open Secure AI Alliance qu'elle a formée avec Nvidia.

Mistral AI SAS est une entreprise française spécialisée dans l'intelligence artificielle (IA) dont le siège social est situé à Paris. Fondée en 2023, elle développe des modèles linguistiques à grande échelle (LLM), dont certains sont open source. En 2025, la valorisation de l'entreprise s'élève à plus de 14 milliards de dollars américains. Le nom de l'entreprise fait référence au mistral, un vent puissant et froid qui souffle dans le sud de la France, terme qui trouve son origine dans la langue occitane. Mistral AI a été fondée en avril 2023 par trois chercheurs français spécialisés dans l’IA : Arthur Mensch, Guillaume Lample et Timothée Lacroix.

Mistral a discrètement mis au point une solution intéressante en matière de modération. Dans une annonce publiée sur son site, la société a rendu public « Shieldstral », un classificateur de sécurité multimodal comptant 3 milliards de paramètres, sous forme de poids ouverts sous licence Apache 2.0. Ce modèle fonctionne sur un seul GPU Nvidia de 16 Go et, selon la société, égale ou surpasse les modèles OpenGuard jusqu’à 7 fois plus volumineux dans les domaines de la sécurité textuelle, de la détection des refus, de l’adaptabilité aux politiques et des benchmarks multimodaux. Ces données sont celles communiquées par Mistral et n’ont pas été validées par des évaluateurs externes.

Le choix de conception qui mérite qu’on s’y attarde concerne la manière dont les développeurs l’utilisent. Au lieu de choisir parmi une taxonomie fixe de catégories de préjudice, vous rédigez la politique qui vous intéresse sous la forme d’une question en langage naturel au moment de l’inférence, et le modèle renvoie une probabilité calibrée (oui/non) à l’issue d’un seul passage en avant. Cela signifie une interface unique pour le texte et les images, aucun réentraînement lorsque les politiques changent, et un seuil de confiance que vous pouvez ajuster plutôt qu’une étiquette discrète que vous devez accepter.

Pourquoi est-ce important si vous ne dirigez pas une équipe chargée de la confiance et de la sécurité ? Les modèles de « garde-fou » sur lesquels la plupart des gens s’appuient sont soit des API hébergées facturées à l’appel, soit des modèles ouverts plus volumineux qui nécessitent un matériel puissant pour fonctionner à grande échelle. Un « garde-fou » de 3 milliards de paramètres qui tient sur un seul GPU de milieu de gamme et s’adapte aux politiques sans ajustement fin abaisse la barre d’accès pour tous ceux qui développent à partir de poids ouverts, des petites start-ups aux groupes de recherche qui n’avaient pas les moyens de se doter d’une infrastructure de sécurité dédiée.

Mistral présente également cette annonce comme la première publication issue de l’Open Secure AI Alliance qu’elle a formée avec Nvidia et d’autres organisations, ce qui s’apparente à une stratégie visant à faire des outils de sécurité ouverts et vérifiables une alternative de premier ordre aux solutions fermées par défaut. Il convient toutefois de noter que le chiffre « 7× » est une affirmation de Mistral elle-même et que l’annonce ne précise pas les modèles de garde de référence par rapport auxquels la mesure a été effectuée, ni ne donne beaucoup d’informations sur les langues que Shieldstral couvre efficacement.

La méthode « Policy-as-a-prompt » est puissante, mais elle hérite également du problème de formulation : une question de politique mal formulée équivaut à un filtre mal conçu. Si les chiffres d’étalonnage se confirment lors d’évaluations indépendantes, cela deviendra l’une des primitives ouvertes les plus utiles de cette année pour quiconque commercialise un produit concret utilisant des poids ouverts.

Récemment, deux modèles d'IA d'OpenAI se sont introduits dans les systèmes de Hugging Face après avoir réussi à s'échapper de leur bac à sable. Cet incident inédit a mis toute l'industrie en alerte et souligne l'urgence de renforcer la sécurité des systèmes autonomes. En réponse, Nvidia et d'autres chefs de file technologiques ont instauré l'Open Secure AI Alliance pour promouvoir des outils de défense ouverts et transparents. Microsoft soutient cette transition vers une sécurité adaptative, tout en lançant en interne Project Perception, un cadre conçu pour contrer les menaces à la vitesse des machines. Ces initiatives appellent à stabiliser le développement de l'IA.

Voici l'annonce de Mistral AI :

Voici Shieldstral

Un classificateur de sécurité multimodal de type « 3B » en catégorie ouverte et adaptatif aux politiques, qui rivalise avec des modèles jusqu’à sept fois plus volumineux en matière de sécurité des contenus textuels et établit un nouveau record de performance dans le domaine de la modération multimodale.

Tout produit intégrant un modèle doit répondre à ce genre de questions — mais la bonne réponse dépend du produit, du public visé et du contexte. Un même contenu peut convenir à un outil de recherche en cybersécurité tout en étant préjudiciable sur une plateforme dédiée à la santé mentale. La plupart des modèles de « garde-fou » intègrent une taxonomie fixe de catégories de préjudice dans leurs poids ; leur réorientation vers un nouveau contexte de déploiement nécessite donc un réentraînement. Et comme les définitions de la sécurité varient selon les applications et les domaines, il n’existe pas, a priori, d’ensemble unique de catégories « correctes » à modéliser.

Shieldstral adopte une approche différente : vous rédigez la règle sous forme de question en langage naturel au moment de l’inférence, et le modèle renvoie un score de sécurité calibré. Pas de réentraînement, une interface unique pour le texte et les images, et un verdict exprimé par un seul token.

La modération en tant que question

Shieldstral présente la modération de contenu comme une tâche binaire de type question-réponse. Chaque requête comporte trois parties :

• <Instruct> — le contexte d’évaluation, le niveau de rigueur et (facultativement) une définition de ce qui est considéré comme un contenu dangereux.
• <Query> — une question unique à réponse oui/non, par exemple « Ce contenu incite-t-il à la violence physique ? »
• <Document> — le contenu à évaluer : une invite, une réponse, un couple invite-réponse ou une image accompagnée éventuellement d’un texte.

Lors de l'inférence, le modèle ne lit que les logits « oui » et « non » et les normalise via la fonction softmax pour obtenir un score de sécurité continu. Cette formulation simple est très efficace : elle regroupe la classification des invites, la modération des réponses, la détection des refus et la détection de la toxicité en un seul et même problème ; elle permet d'intégrer entièrement les politiques dans l'invite, de sorte qu'un seul point de contrôle s'adapte aux nouvelles politiques au moment du déploiement.

Points clés

• Performances élevées — égales ou supérieures à celles des modèles « open guard » jusqu’à 7 fois plus volumieux, en matière de sécurité des textes, de détection des refus, d’adaptabilité des politiques et de benchmarks multimodaux.
• Adaptable et flexible — une interface unique en langage naturel couvre les contenus textuels, iconographiques et textuels-iconographiques, qu’il s’agisse de prompts, de réponses ou de paires prompt-réponse. Les politiques sont fournies sous forme de requêtes libres et réorientées au moment de l’inférence, sans réentraînement.
• Compact, entraîné sur des sources hétérogènes — un modèle de 3 milliards de paramètres fonctionnant sur un seul GPU de 16 Go, entraîné sur des données réelles et synthétiques présentant divers formats d’étiquettes et taxonomies, le tout consolidé dans un cadre unique.
• Score de sécurité continu — renvoie une probabilité calibrée « oui/non » à l’issue d’un seul passage en avant, ce qui vous permet de définir un seuil ou d’effectuer un classement en fonction du niveau de confiance plutôt que de vous fier à une étiquette discrète.

Tests de performance

Nous évaluons Shieldstral par rapport à des modèles Open Guard dont la taille peut être jusqu’à 7 fois supérieure, selon quatre critères. Tous les échantillons d’évaluation sont exclus de l’entraînement.

1. Sécurité des textes
   
   
   
2. Détection des refus
   
   
   
3. Adaptabilité des politiques
   
   
   
4. Sécurité multimodale
   
   
   

Comment nous l'avons développé

L'idée centrale est qu'un petit modèle peut surpasser des modèles bien plus volumineux si les données sont pertinentes. Pour s'assurer de la pertinence des données, il a fallu résoudre quatre problèmes :

Unifier les données hétérogènes. Les ensembles de données relatifs à la sécurité publique présentent des divergences en matière de taxonomies, d’étiquettes et de conventions d’annotation — allant des indicateurs binaires « sûr/dangereux » aux taxonomies multi-étiquettes très détaillées. Nous convertissons chaque ensemble de données au même format « instruction-requête-document » à l’aide d’un processeur dédié à chaque ensemble, et nous faisons varier la formulation des instructions, des requêtes et des délimiteurs « invite-réponse » afin que le modèle généralise à travers différentes formulations au lieu de se surajuster à un seul style. Nous ajustons également le niveau de rigueur en fonction de chaque source — rigoureux pour les tentatives d’évasion adversaires, plus souple pour les données axées sur la qualité des réponses — afin que le modèle apprenne des limites de décision calibrées. Cela nous permet de consolider des sources qui seraient autrement incompatibles.

Enseigner la discrimination, pas la mémorisation. S’il est entraîné sur un ensemble fixe de libellés de politiques, un modèle apprend uniquement à classer ces politiques prédéfinies, plutôt qu’à raisonner sur les limites précises d’une politique donnée. Cela empêche la généralisation à de nouvelles politiques. Au lieu de cela, nous construisons des ensembles de politiques délibérément similaires et facilement confondables, puis demandons à un LLM de réécrire un texte sûr sous forme de paires contrastées : chaque réécriture est conçue pour enfreindre une politique sans enfreindre celle qui lui est apparentée. Cela entraîne le modèle à distinguer quelle politique spécifique un contenu enfreint, une compétence qui se transpose à des politiques inédites et définies par l’utilisateur au moment de l’inférence.

La sécurité des images. Contrairement au texte, les images dangereuses ne peuvent pas être synthétisées par un modèle de langage grand public (LLM) ; les données relatives à la sécurité visuelle sont donc rares. Nous complétons les ensembles de données de modération limités par des ensembles de données d’images à usage général servant de « négatifs » de haute qualité, nous modifions les requêtes pour enrichir l’ensemble de données, et nous filtrons chaque paire image-requête à l’aide d’un système de reclassement vision-langage afin de réduire les données mal étiquetées et les hallucinations.

Combiner des points de contrôle complémentaires. Nous procédons à un affinage avec LoRA et fusionnons — via SLERP — un point de contrôle calibré sur des données publiques, un autre qui ajoute une discrimination fine des politiques à partir de données générées, ainsi que le modèle de base « instruct ». Cette fusion permet de retrouver un calibrage commun des politiques et une adaptabilité de celles-ci au sein d’un seul modèle, tandis que la capacité à suivre des instructions du modèle de base est transférée à la tâche de modération.

Forge. Nous avons développé Shieldstral de A à Z sur Forge, notre plateforme dédiée à l'entraînement, à l'alignement et à l'évaluation de modèles personnalisés. Forge a pris en charge l'infrastructure, le partitionnement des données et des modèles, les métriques et la journalisation, en plus d'un système d'entraînement distribué à la pointe de la technologie, permettant ainsi à l'équipe de se concentrer pleinement sur les données, qui sont le facteur déterminant de la qualité du modèle de sécurité.

Prochaines étapes

Shieldstral représente une avancée vers la modération qui s'adapte au contexte plutôt que d'imposer à chaque produit une taxonomie figée. Nous continuons à faire progresser la couverture multilingue, la robustesse face aux documents plus longs et la sécurité multimodale à plus grande échelle — et nous avons hâte de découvrir ce que la communauté va créer à partir de cette base.

Source : Mistral AI

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Le Chat de Mistral AI peut désormais mémoriser vos conversations grâce à la nouvelle fonctionnalité Memories, et Mistral AI introduit également la prise en charge des connecteurs MCP

Mistral AI mise sur la « création d'IA sur mesure » et annonce Mistral Forge, une plateforme permettant aux entreprises de créer des modèles personnalisés entraînés à partir de leurs propres données

Microsoft dévoile des outils de sécurité basés sur l'IA qui, selon l'entreprise, surpassent les plateformes concurrentes ; le nouveau modèle agentique MAI-Cyber-1-Flash et la plateforme Project Perception

[Matthieu Vergne]

Je comprends la logique de simplification du process de modération, mais ce n'est pas parce que c'est simple que c'est recommandable.

Un score, ça te permet de voir qu'il y a une marge d'interprétation. Du binaire, ça n'en montre pas. Il devient tentant d'utiliser ce genre de système pour se simplifier la vie puis, quand surgit un cas nécessitant d'être nuancé, on se plante et on fait valoir que c'est l'IA qui a dit oui/non. Il y a trop de risque de déresponsabilisation avec ce type de système.

Soit ils introduisent une échelle (3 ou 5 niveaux) de façon à ce qu'un résultat plus centré pousse à creuser (en posant plusieurs questions à la suite pour mieux qualifier le cas ou en vérifiant manuellement), soit ils fournissent une entrée unique sous forme de score (mais là on sort du LLM et donc on passe sur d'autres outils).

Celui-là, c'est un bon effet marketing mais ça ne prône pas un usage sérieux. Sinon il faudrait poser plusieurs questions similaires pour reconstruire un score, mais ça veut dire une utilisateur qui reconstruit un système plus complexe par dessus, soit l'inverse de la simplicité vendue ici.