OpenAI lance Privacy Filter, un modèle open source de masquage des données
OpenAI lance Privacy Filter, un modèle open source de masquage des données en périphérie qui supprime les informations personnelles des ensembles de données d'entreprise
OpenAI a annoncé Privacy Filter, un nouveau modèle d'IA conçu pour détecter et masquer les informations personnelles identifiables dans les textes. Privacy Filter peut détecter des données personnelles dans un large éventail de formats au sein de textes non structurés. Il traite des volumes importants de données en un seul passage, identifiant les segments d'informations sensibles et les marquant pour qu'ils soient masqués ou supprimés sans générer de texte de remplacement. Privacy Filter identifie les segments sensibles dans huit catégories, notamment les personnes physiques, les adresses, les adresses e-mail, les numéros de téléphone, les URL, les dates confidentielles, les numéros de compte et les secrets tels que les mots de passe ou les clés API.
OpenAI est une entreprise américaine d'intelligence artificielle (IA) fondée en 2015 à San Francisco en Californie. L'entreprise est connue pour ses grands modèles de langage tels que GPT-4o, la série de modèles de génération d'images DALL-E et le modèle de génération de vidéos Sora. Son lancement de ChatGPT en novembre 2022 a déclenché un intérêt mondial pour les agents conversationnels et l'IA générative.
OpenAI a annoncé Privacy Filter, un nouveau modèle d'IA conçu pour détecter et masquer les informations personnelles identifiables dans les textes. Cette version open-weight présente un petit modèle axé sur les processus de protection de la vie privée, permettant aux développeurs d'identifier les données sensibles contenues dans des documents, des journaux et des ensembles de données avant que ces informations ne soient stockées ou partagées.
Ce modèle est destiné à fonctionner comme un élément d'un processus général de « privacy-by-design » (respect de la vie privée dès la conception) plutôt que de remplacer l'examen des politiques dans les environnements hautement sensibles. Privacy Filter peut détecter des données personnelles dans un large éventail de formats au sein de textes non structurés. Il traite des volumes importants de données en un seul passage, identifiant les segments d'informations sensibles et les marquant pour qu'ils soient masqués ou supprimés sans générer de texte de remplacement.
Les développeurs peuvent exécuter Privacy Filter directement sur leurs propres systèmes, ce qui permet de filtrer le texte sensible avant qu'il ne quitte la machine. L'exécution locale élimine la nécessité de transmettre des données non filtrées à des services externes, ce qui facilitera les workflows où des contrôles de confidentialité doivent être appliqués avant les opérations de stockage, d'indexation ou de journalisation.
Les outils traditionnels de détection des données personnelles s'appuient souvent sur des règles de correspondance de motifs. Si ces règles fonctionnent assez bien pour les formats fixes tels que les numéros de téléphone et les adresses e-mail, elles peuvent passer à côté de données sensibles qui dépendent du contexte. Privacy Filter applique une analyse linguistique contextuelle pour identifier les données personnelles au sein du texte environnant, ce qui permet au modèle de repérer les cas où les informations deviennent sensibles une fois interprétées dans une phrase ou un document complet.
Le modèle utilise une structure de classification des jetons qui étiquette chaque jetons d'une séquence d'entrée. Les jetons sont évalués ensemble au cours d'un seul passage avant et ne sont pas traités étape par étape. Cela permet une analyse plus rapide des documents volumineux. Des longueurs de contexte allant jusqu'à 128 000 jetons sont prises en charge, ce qui permet de traiter des fichiers volumineux sans avoir à les diviser en parties plus petites. Le modèle contient au total 1,5 milliard de paramètres, dont 50 millions de paramètres actifs, ce qui lui permet de conserver sa capacité de détection tout en restant suffisamment compact pour fonctionner en local.
Privacy Filter identifie les segments sensibles dans huit catégories, notamment les personnes physiques, les adresses, les adresses e-mail, les numéros de téléphone, les URL, les dates confidentielles, les numéros de compte et les secrets tels que les mots de passe ou les clés API. La détection des numéros de compte inclut les identifiants financiers tels que les numéros de carte de crédit et les numéros de compte bancaire, tandis que la catégorie des secrets couvre les identifiants qui pourraient exposer l'accès à des logiciels ou à des services s'ils restaient visibles.
OpenAI indique que Privacy Filter a été testé à l'aide de l'ensemble de données de référence PII-Masking-300k et a obtenu un score F1 de 96 %, avec une précision de 94,04 % et un rappel de 98,04 %. OpenAI a également testé le modèle sur une version corrigée de l'ensemble de données qui remédiait aux problèmes d'étiquetage découverts lors de la révision. Dans ce cas, Privacy Filter a obtenu un score F1 de 97,43 %, avec une précision de 96,79 % et un rappel de 98,08 %.
Des tests supplémentaires ont montré que le modèle s'adapte rapidement à des cas d'utilisation spécialisés. Lors d'une évaluation, le réglage fin a permis de faire passer le score F1 de 54 % à 96 % lors d'un entraînement sur des données spécifiques à un domaine. Les données d'entraînement comprenaient un mélange de documents accessibles au public et d'exemples synthétiques, ces derniers ayant été utilisés pour étendre la couverture à différents formats et cas limites qui apparaissent moins fréquemment dans les ensembles de données publics.
OpenAI affirme que Privacy Filter peut fonctionner sur du texte bruité ou de formats mixtes, et le modèle a été testé sur des documents longs, des secrets liés aux logiciels, du texte multilingue et des exemples dépendants du contexte. Privacy Filter est disponible sous licence Apache 2.0 et les développeurs peuvent télécharger le modèle depuis Github et Hugging Face, puis l'exécuter localement. La documentation disponible comprend des détails sur l'architecture, les catégories de labels, les méthodes de décodage, les workflows pris en charge et les limitations connues.
Cette outil semble utile pour prévenir les fuites de données. En tout cas, OpenAI en aurait eu besoin au début d'année lorsque ces documents internes ont fuité. En effet, des documents internes d'OpenAI prévoient que le spécialiste de l'IA devrait enregistrer des pertes totales de 14 milliards de dollars en 2026. Il est également affirmé qu'OpenAI continuera à enregistrer des pertes colossales, totalisant 44 milliards de dollars jusqu'en 2029, date à laquelle l'entreprise ne se contentera pas de réaliser des bénéfices, mais générera des revenus comparables à ceux de Nvidia. Une révélation qui a remis en cause le modèle économique d'OpenAI et questionne sur la viabilité de l'entreprise.
Voici la présentation de Privacy Filter :
Présentation de OpenAI Privacy Filter
Aujourd’hui, nous lançons OpenAI Privacy Filter, un modèle à poids ouverts permettant de détecter et de masquer les informations personnelles identifiables (PII) dans un texte. Cette version s’inscrit dans notre démarche plus large visant à soutenir un écosystème logiciel plus résilient, en fournissant aux développeurs une infrastructure concrète pour créer avec l’IA en toute sécurité, notamment grâce à des outils et des modèles qui facilitent la mise en place de solides protections en matière de confidentialité et de sécurité dès le départ.
Privacy Filter est un petit modèle doté d’une capacité de détection des données personnelles de pointe. Il est conçu pour des workflows de confidentialité à haut débit et permet une détection des informations personnelles identifiables en tenant compte du contexte dans des textes non structurés. Il peut s’exécuter localement, ce qui signifie que les informations personnelles identifiables peuvent être masquées ou supprimées sans pour autant quitter votre machine. Il traite efficacement de longues entrées, ce qui permet de prendre rapidement des décisions de masquage en un seul passage.
Chez OpenAI, nous utilisons une version ajustée de Privacy Filter dans nos propres workflows respectueux de la confidentialité. Nous avons développé Privacy Filter, car nous pensons qu’avec les dernières avancées en IA, il est possible d’élever les normes de confidentialité au-delà de ce qui existe déjà sur le marché. La version de Privacy Filter que nous lançons aujourd’hui atteint des performances de pointe sur le benchmark PII-Masking-300k, après correction des erreurs d’annotation identifiées lors de l’évaluation.
Avec cette version, les développeurs peuvent exécuter Privacy Filter dans leurs propres environnements, l’adapter à leurs cas d’usage et intégrer des protections renforcées de la vie privée dans leurs pipelines d’entraînement, d’indexation, de journalisation et de revue.
Un petit modèle doté d'une capacité de détection de données personnelles de pointe
La protection de la vie privée dans les systèmes d’intelligence artificielle modernes ne repose pas uniquement sur la reconnaissance de formes. Les outils traditionnels de détection des informations personnelles identifiables (PII) reposent souvent sur des règles déterministes pour des formats tels que les numéros de téléphone et les adresses e-mail. Ils peuvent bien fonctionner pour des cas d’usage restreints, mais passent souvent à côté d’informations personnelles plus subtiles et ont du mal à saisir le contexte.
Le filtre de confidentialité est conçu avec une compréhension plus approfondie du langage et du contexte et pour des performances plus nuancées. En combinant une compréhension avancée du langage avec un système d’annotation spécifique à la confidentialité, il peut détecter un éventail plus large d’informations personnelles identifiables dans des textes non structurés, y compris lorsque la décision correcte dépend du contexte. Il peut faire plus efficacement la distinction entre les informations qui doivent être conservées parce qu’elles sont publiques et les informations qui doivent être masquées ou expurgées parce qu’elles se rapportent à un particulier.
Il en résulte un modèle suffisamment performant pour offrir un niveau de filtrage de la confidentialité de pointe. Parallèlement, le modèle est suffisamment léger pour être exécuté localement—ce qui permet de conserver les données qui n'ont pas encore été filtrées sur l’appareil, avec un risque d’exposition réduit, plutôt que de devoir les envoyer vers un serveur pour les dé-identifier.
Présentation du modèle
Privacy Filter est un modèle bidirectionnel de classification de jetons avec décodage de segments. Il part d’un point de contrôle préentraîné autorégressif, puis est adapté en un classificateur de jetons basé sur une taxonomie fixe d’étiquettes de confidentialité. Au lieu de générer du texte token par token, il annote la séquence d’entrée en une seule passe, puis décode des segments cohérents à l’aide d’une procédure de Viterbi contrainte.
Cette architecture confère à Privacy Filter quelques propriétés utiles pour une utilisation en production :
- Rapide et efficace : tous les jetons sont étiquetés en un seul passage.
- Tient compte du contexte : l’a priori linguistique permet de détecter les segments d’informations personnelles identifiables en fonction du contexte environnant.
- Contexte long : le modèle publié prend en charge jusqu'à 128 000 jetons de contexte.
- Configurable : les développeurs peuvent ajuster les points de fonctionnement afin de trouver un compromis entre le rappel et la précision en fonction de leur workflow.
Le modèle publié compte 1,5 milliard de paramètres au total, dont 50 millions de paramètres actifs.
Privacy Filter prédit des segments dans huit catégories :
- personne_privée
- adresse_privée
- e-mail_privé
- téléphone_privé
- URL_privée
- date_privée
- numéro_de_compte
- secret
La catégorie numéro_de_compte permet de masquer un large éventail de numéros de compte, y compris des informations bancaires telles que les numéros de carte de crédit et les numéros de compte bancaire, tandis que secret permet de masquer des éléments comme les mots de passe et les clés API.
Ces étiquettes sont décodées à l'aide de balises d'étendue BIOES, ce qui permet d'obtenir des frontières de masquage plus nettes et plus cohérentes.
Comment nous l'avons conçu
Nous avons développé Privacy Filter en plusieurs étapes.
Tout d'abord, nous avons élaboré une taxonomie de la confidentialité qui définit les types d'extraits que le modèle doit détecter. Cela inclut les identifiants personnels, les coordonnées, les adresses, les dates privées, de nombreux types de numéros de compte, tels que les informations de crédit et bancaires, ainsi que des secrets tels que les clés API et les mots de passe.
Deuxièmement, nous avons transformé un modèle de langage préentraîné en classificateur de jetons bidirectionnel en remplaçant la tête de modélisation du langage par une tête de classification de jetons, puis en le réentraînant avec un objectif de classification supervisée.
Troisièmement, nous avons entraîné le modèle sur un mélange de données publiques et de données synthétiques, conçu pour couvrir à la fois des textes réalistes et des schémas de confidentialité complexes. Dans les portions des données publiques où les annotations étaient incomplètes, nous avons eu recours à une annotation assistée par le modèle et à une relecture afin d’en améliorer la couverture. Nous avons également généré des exemples synthétiques afin d'accroître la diversité dans les formats, les contextes et les sous-types de confidentialité.
Lors de l’inférence, les prédictions au niveau des jetons du modèle sont décodées en segments cohérents à l’aide d’un décodage de séquence contraint. Cette approche préserve la compréhension générale du langage du modèle préentraîné tout en le spécialisant pour la détection des atteintes à la vie privée.
Performances de Privacy Filter
Nous avons évalué Privacy Filter sur des benchmarks standards ainsi que sur des évaluations supplémentaires, synthétiques et de type conversationnel, conçues pour tester des cas plus difficiles et plus sensibles au contexte.
Dans l’évaluation PII-Masking-300k(ouverture dans une nouvelle fenêtre), Privacy Filter obtient un score F1 de 96 % (94,04 % de précision et 98,04 % de rappel). Sur une version corrigée du benchmark qui tient compte des problèmes d’annotation du jeu de données identifiés lors de la révision, le score F1 a été de 97,43 % (96,79 % de précision et 98,08 % de rappel).
Nous avons également constaté que le modèle peut être adapté efficacement. L'ajustement sur une quantité même limitée de données améliore rapidement la précision sur des tâches propres à un domaine, faisant passer le score F1 de 54 % à 96 %, et atteint presque la saturation sur le benchmark d'adaptation au domaine que nous avons évalué.
Au-delà des performances sur les benchmarks, Privacy Filter est conçu pour un filtrage de la confidentialité efficace dans des textes réels, souvent bruités. Cela inclut de longs documents, des références ambiguës, des chaînes de formats mixtes et des secrets liés aux logiciels. La fiche modèle (ouverture dans une nouvelle fenêtre)présente également des évaluations ciblées sur la détection de secrets dans des bases de code, ainsi que des tests de résistance sur des exemples multilingues, hostiles et dépendants du contexte.
Limites
Privacy Filter n'est pas un outil d'anonymisation, une certification de conformité ni un substitut à l'examen des politiques dans des contextes à forts enjeux. Il s'agit de l'un des composants d'un système plus large de protection de la vie privée dès la conception.
Son comportement reflète la taxonomie des libellés et les frontières décisionnelles sur lesquelles il a été entraîné. Différentes organisations peuvent avoir besoin de politiques de détection ou de masquage différentes, et ces politiques peuvent nécessiter une évaluation dans le domaine ainsi qu’un ajustement supplémentaire du modèle. Les performances peuvent également varier selon les langues, les systèmes d’écriture, les conventions de nommage et les domaines qui s’écartent de la distribution d’entraînement.
Comme tous les modèles, Privacy Filter peut faire des erreurs. Il peut ne pas détecter des identifiants peu courants ou des références privées ambiguës, et il peut sur-masquer ou sous-masquer des entités lorsque le contexte est limité, en particulier dans les séquences courtes. Dans les domaines à forte sensibilité tels que les workflows juridiques, médicaux et financiers, la révision humaine ainsi que l'évaluation et l'ajustement spécifiques au domaine restent importants.
Disponibilité
Nous lançons OpenAI Privacy Filter afin de renforcer la protection de la vie privée dans l'ensemble de l'écosystème.
Le modèle est disponible dès aujourd'hui sous la licence Apache 2.0 sur Hugging Face et Github. Il est destiné à l’expérimentation, à la personnalisation et au déploiement commercial, et peut être affiné pour s’adapter à différentes distributions de données et politiques de confidentialité.
Parallèlement au modèle, nous mettons à disposition une documentation couvrant l’architecture du modèle, la taxonomie des labels, les mécanismes de décodage, les cas d’usage prévus, le protocole d’évaluation et les limites connues, afin que les équipes puissent comprendre à la fois les points forts du modèle et les situations pour lesquelles son utilisation doit être prudente.
Perspectives d’avenir
La protection de la vie privée des systèmes d'IA est un effort continu dans les domaines de la recherche, de la conception des produits, de l'évaluation et du déploiement.
Privacy Filter reflète une orientation que nous jugeons importante : des modèles compacts et efficaces, dotés de capacités de pointe dans des tâches étroitement définies qui comptent pour les systèmes d'IA du monde réel. Nous publions ce modèle car nous pensons que l’infrastructure respectueuse de la vie privée devrait être plus facile à inspecter, exécuter, adapter et améliorer.
Notre objectif : Les modèles doivent apprendre du monde, pas des individus. Privacy Filter contribue à rendre cela possible.
Nous publions cette version préliminaire de Privacy Filter afin de recueillir les retours de la communauté de recherche et de la protection de la vie privée, et d’améliorer encore les performances du modèle.
Source : Annonce d'OpenAI, Privacy Filter sur Hugging Face
Et vous ?
Pensez-vous que cette annonce est crédible ou pertinente ?
Voir aussi :
Répondre avec citation
Partager