Microsoft lance Azure AI Content Safety pour filtrer les contenus nuisibles des utilisateurs et de l'IA

Microsoft lance Azure AI Content Safety pour filtrer les contenus nuisibles des utilisateurs et de l'IA, dans le but d'améliorer l'expérience utilisateur et de protéger son image de marque

Microsoft a annoncé la disponibilité générale de son service Azure AI Content Safety. Ce système est conçu pour aider les opérateurs de plateformes à détecter et à filtrer les contenus nuisibles générés par les utilisateurs et ceux générés par l'intelligence artificielle dans leurs services et applications.

Azure AI Content Safety peut être utilisé pour analyser et bloquer les contenus textuels et imagés, et Microsoft l'a rendu hautement personnalisable afin qu'il puisse être adapté à différentes modalités. L'entreprise précise que le service peut être utilisé pour éliminer les contenus offensants, risqués ou indésirables, tels que les blasphèmes, les contenus pour adultes, le gore, la violence, les discours de haine, etc.

En annonçant la disponibilité d'Azure AI Content Safety, Microsoft souligne que les avantages d'un tel contrôle des contenus sont multiples. En plus de contribuer à améliorer l'expérience des utilisateurs en éliminant les contenus indésirables ou nuisibles, l'image de marque est également protégée en évitant d'être associée à de tels contenus.

https://youtu.be/zmvkFbjsTrc

L'entreprise met en avant plusieurs caractéristiques d'Azure AI Content Safety, notamment sa capacité à gérer plusieurs langues. Microsoft parle de "sécurité globale à 360 degrés" en ce qui concerne les capacités d'analyse de texte et d'image du service. À cela s'ajoute la possibilité de catégoriser le contenu pour le filtrer de différentes manières, et l'indication de la gravité pour permettre une meilleure analyse des menaces.

Dans un billet de blog consacré au service, Louise Han, de Microsoft, déclare :

Citation:

Nous sommes ravis d'annoncer la disponibilité générale d'Azure AI Content Safety, un nouveau service qui vous aide à détecter et à filtrer les contenus nuisibles générés par l'utilisateur et l'IA dans vos applications et services. Content Safety comprend la détection de texte et d'image pour trouver le contenu offensant, risqué ou indésirable, tel que le blasphème, le contenu pour adultes, le gore, la violence, le discours de haine, et plus encore.

Elle ajoute :

Citation:

L'impact des contenus nuisibles sur les plateformes va bien au-delà de l'insatisfaction des utilisateurs. Il peut nuire à l'image d'une marque, éroder la confiance des utilisateurs, compromettre la stabilité financière à long terme et exposer la plateforme à des responsabilités juridiques potentielle.

Il est essentiel de ne pas se limiter aux contenus générés par les humains, d'autant plus que les contenus générés par l'IA sont de plus en plus répandus. Il est essentiel de s'assurer de l'exactitude, de la fiabilité et de l'absence d'éléments nuisibles ou inappropriés dans les résultats générés par l'IA. La sécurité du contenu ne protège pas seulement les utilisateurs contre la désinformation et les dommages potentiels, mais elle permet également de respecter les normes éthiques et de renforcer la confiance dans les technologies d'IA. En nous concentrant sur la sécurité du contenu, nous pouvons créer un environnement numérique plus sûr qui favorise une utilisation responsable de l'IA et préserve le bien-être des individus et de la société dans son ensemble.

C'est précisément pour ces raisons que l'équipe Microsoft Responsible AI construit un système à plusieurs niveaux avec des modèles et des technologies de sécurité robustes.

Source : Microsoft Azure

Et vous ?

:fleche: Quel est votre avis sur cette annonce de Microsoft ?

Voir aussi :

:fleche: La nouvelle alternative open-source ChatGPT de Microsoft permet aux entreprises de déployer des chatbots privés et personnalisables avec des garanties de confidentialité

:fleche: Le Parlement britannique adopte Online Safety Bill, son projet de loi sur la sécurité en ligne. La « clause espion » visant à scanner les téléphones à la recherche de CSAM n'est pas supprimée

:fleche: Microsoft licencie son équipe chargée de l'éthique IA, tandis que l'entreprise accélère son avancée dans les produits d'IA

la notion de contenue nuisible étant plus que vague ça peut tout aussi bien être un système de censure.

Il convient de mentionner ici que le service est également conçu pour modérer les contenus en plusieurs langues et qu'il utilise un indice de gravité qui indique la gravité d'un contenu spécifique sur une échelle de 0 à 7.

Les contenus classés 0-1 sont considérés comme sûrs et appropriés pour tous les publics, tandis que les contenus exprimant des préjugés, des jugements ou des opinions sont classés 2-3 ou moins.

Les contenus de gravité moyenne sont classés 4-5 et contiennent des propos offensants, abusifs, des railleries, un langage intimidant ou des attaques explicites contre des groupes identitaires, tandis que les contenus de gravité élevée, qui contiennent des actions préjudiciables et une promotion explicite d'actions préjudiciables, ou qui approuvent ou glorifient des formes extrêmes d'actions préjudiciables contre des groupes identitaires, sont classés 6-7.

En matière de sécurité en ligne, il est essentiel de ne pas se limiter aux contenus générés par les humains, d'autant plus que les contenus générés par l'IA deviennent monnaie courante. Il est essentiel de garantir l'exactitude, la fiabilité et l'absence de matériel nuisible ou inapproprié dans les résultats générés par l'IA. La sécurité du contenu ne protège pas seulement les utilisateurs contre la désinformation et les dommages potentiels, mais elle permet également de maintenir des normes éthiques et de renforcer la confiance dans la technologie de l'IA".