IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Le chatbot d'IA Q d'Amazon souffre de "graves hallucinations" et divulgue des données confidentielles


Sujet :

Intelligence artificielle

  1. #1
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    949
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 949
    Points : 66 383
    Points
    66 383
    Par défaut Le chatbot d'IA Q d'Amazon souffre de "graves hallucinations" et divulgue des données confidentielles
    Amazon lance Q, un chatbot professionnel doté d'une intelligence artificielle générative, Amazon multiple les efforts dans la course à l'IA

    Amazon a enfin sa réponse au ChatGPT. Le géant de la technologie a annoncé le lancement de Q, un chatbot d'entreprise basé sur l'intelligence artificielle générative.

    L'annonce, faite à Las Vegas lors d'une conférence annuelle organisée par la société pour son service d'informatique en nuage AWS, représente la réponse d'Amazon à ses rivaux qui ont lancé des chatbots ayant attiré l'attention du public.

    Le lancement de ChatGPT par la startup OpenAI de San Francisco il y a un an a suscité une vague d'intérêt de la part du public et des entreprises pour les outils d'IA générative capables de produire des courriels, des discours marketing, des essais et d'autres passages de texte qui ressemblent au travail d'un être humain. Cette attention a d'abord donné un avantage au principal partenaire et bailleur de fonds d'OpenAI, Microsoft, qui détient les droits sur la technologie sous-jacente de ChatGPT et l'a utilisée pour créer ses propres outils d'IA générative, connus sous le nom de Copilot. Mais elle a également incité des concurrents comme Google à lancer leurs propres versions.

    Ces chatbots sont une nouvelle génération de systèmes d'IA capables de converser, de générer du texte lisible à la demande et même de produire des images et des vidéos inédites à partir de ce qu'ils ont appris d'une vaste base de données de livres numériques, d'écrits en ligne et d'autres médias.


    Amazon a déclaré que Q pouvait synthétiser du contenu, rationaliser les communications quotidiennes et aider les employés à effectuer des tâches telles que la rédaction d'articles de blog. Les entreprises peuvent également connecter Q à leurs propres données et systèmes afin d'obtenir une expérience sur mesure plus adaptée à leur activité. La technologie est actuellement disponible en avant-première.

    Bien qu'Amazon devance ses rivaux Microsoft et Google en tant que fournisseur dominant d'informatique en nuage, il n'est pas perçu comme le leader de la recherche sur l'IA qui a conduit aux progrès de l'IA générative.

    Un récent index de l'université de Stanford, qui a mesuré la transparence des 10 principaux modèles d'IA fondateurs, dont le Titan d'Amazon, a classé Amazon en queue de peloton. Les chercheurs de Stanford ont déclaré que le manque de transparence peut rendre plus difficile pour les clients qui veulent utiliser la technologie de savoir s'ils peuvent s'y fier en toute sécurité, entre autres problèmes.

    L'entreprise, quant à elle, va de l'avant. En septembre, Amazon a déclaré qu'elle investirait jusqu'à 4 milliards de dollars dans la startup d'IA Anthropic, une société basée à San Francisco et fondée par d'anciens employés d'OpenAI. Le géant de la technologie a également lancé de nouveaux services, notamment une mise à jour de son assistant populaire Alexa, qui permet aux utilisateurs d'avoir des conversations plus humaines, et des résumés d'avis sur les produits générés par l'IA à l'intention des consommateurs.


    Et vous ?

    Quel est votre avis sur le sujet ?

    Voir aussi :

    Amazon investit 4 milliards de dollars dans Anthropic et se lance dans une guerre de l'IA avec Microsoft et Google, de Claude à Claude-Next, le pari audacieux d'Amazon sur l'IA d'Anthropic

    Amazon dévoile des fonctionnalités d'IA générative pour Alexa qui contribueraient à rendre Alexa encore plus intuitive, plus intelligente et plus utile

    State of AI 2023 : les modèles d'IA favoriseraient des progrès dans le monde réel malgré les préoccupations qu'ils posent, mais les initiatives visant à réglementer l'IA seraient au point mort
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #2
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Juin 2023
    Messages
    543
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2023
    Messages : 543
    Points : 9 917
    Points
    9 917
    Par défaut Le chatbot d'IA Q d'Amazon souffre de "graves hallucinations" et divulgue des données confidentielles
    Le chatbot d'IA Q d'Amazon souffre de "graves hallucinations" et divulgue des données confidentielles lors de l'avant-première publique
    selon les rapports internes des employés

    Q, le chatbot d'IA d'Amazon destiné aux clients professionnels et dévoilé mardi, semble souffrir de quelques problèmes critiques en matière de confidentialité et de précision. Des rapports de tests internes ayant fait l'objet de fuite indiquent que Q a divulgué l'emplacement des centres de données AWS, des fonctionnalités inédites et des programmes de réduction internes. Le chatbot serait également victime de graves hallucinations. L'incident aurait été qualifié de "SEV 2" en interne, ce qui signifie qu'il s'agit d'un incident suffisamment grave pour que les ingénieurs d'Amazon soient appelés pendant la nuit et qu'ils travaillent tout le week-end pour le résoudre.

    Lors de sa conférence annuelle des développeurs d'Amazon Web Services (AWS) mardi dernier, Amazon a annoncé Q, son chatbot d'IA destiné aux entreprises. Q peut être connecté à des sources de données telles que Amazon S3, Microsoft 365, GitHub, Dropbox, OneDrive, Salesforce, Slack, etc. La sécurité et la confidentialité étant des priorités, Amazon affirme que le contenu des clients de Q n'est jamais utilisé pour l'entraînement des modèles. Tout comme ChatGPT, vous pouvez utiliser Amazon Q pour avoir des conversations, résoudre des problèmes, générer du contenu et obtenir des informations issues des bases de données auxquelles il a accès.

    Cela dit, Q connaît votre entreprise d'une manière que ChatGPT ne peut pas connaître, parce qu'il est connecté à toutes ces données. En fait, tout comme "Q" dans Star Trek, il agit comme un être omniscient qui peut répondre à n'importe quelle question (du moins, lorsqu'il s'agit de votre entreprise). Ainsi, vous pouvez demander à Q où vous avez réalisé le plus de ventes et obtenir une réponse personnalisée basée sur vos données commerciales. Vous pouvez lui donner accès à votre blogue et lui demander de rédiger des articles de synthèse pour les réseaux sociaux à partir de votre dernier contenu, tout en respectant le guide de style de votre entreprise.


    Lorsqu'il répond à une question, Q fournit toujours la source d'où elle a été tirée (contrairement à ChatGPT qui peut être un peu aléatoire). Vous êtes donc toujours au courant des rapports commerciaux qu'il utilise, ce qui vous permet de vérifier les faits. Il est intégré dans des services comme AWS Quicksight, ce qui vous permet de l'utiliser pour créer des visuels et des tableaux de bord. Il est intégré à Amazon Connect pour aider le service client en détectant automatiquement l'intention du client pendant les appels, en fournissant aux agents des réponses et des actions immédiates et en temps réel, ainsi que des liens vers des documents de référence.

    Malgré ce que dit Amazon, il s'avère que Q n'est peut-être pas tout à fait prêt pour la production. Trois jours après son lancement, certains employés tirent la sonnette d'alarme au sujet des problèmes de précision et de confidentialité de l'outil. Q serait victime de graves hallucinations et de fuites de données confidentielles, y compris l'emplacement des centres de données AWS, des programmes de réduction internes et des fonctionnalités non encore commercialisées. Un employé a qualifié l'incident de "SEV 2", ce qui signifie que le problème est suffisamment critique pour faire travailler les ingénieurs de nuit et pendant le week-end pour trouver une solution.

    Le chatbot d'Amazon serait également victime de graves hallucinations, un phénomène dans lequel l'IA débite avec confiance des inexactitudes comme s'il s'agissait de faits. Dans le cas de Q, il aurait donné "de mauvais conseils juridiques qui pourraient potentiellement provoquer des incidents cardiaques chez Legal", comme l'a dit un employé dans un canal Slack de l'entreprise, selon Platformer. L'outil a également renvoyé des réponses nuisibles ou inappropriées qui pourraient mettre en danger les comptes des clients. Le problème de l'hallucination des chabots d'IA est un véritable vecteur de désinformation et il n'existe pas un correctif efficace à ce jour.

    Les documents de la fuite ont été obtenus par Platformer, une lettre d'information sur la technologie. Selon son rapport sur le chatbot, les hallucinations de Q seraient "vastes et flagrantes" à un tel point où un responsable d'AWS a même déconseillé aux employés d'en discuter dans les canaux publics de Slack. Mais dans un courriel envoyé à Platformer, un porte-parole d'Amazon a réfuté ces allégations et a minimisé l'importance des discussions entre employés. « Certains employés font part de leurs commentaires par le biais de canaux internes et de systèmes de billetterie, ce qui est une pratique courante chez Amazon », a déclaré le porte-parole.

    « Aucun problème de sécurité n'a été identifié à la suite de ces commentaires. Nous apprécions tous les commentaires que nous avons déjà reçus et nous continuerons d'améliorer Q au fur et à mesure qu'il passera du statut de produit en avant-première à celui de produit généralement disponible ». Suite à la publication du rapport, le porte-parole a envoyé une autre déclaration qui repousse les affirmations des employés : « Amazon Q n'a pas divulgué d'informations confidentielles ». Mardi, Amazon a lancé Q en avant-première gratuite et le géant du cloud computing a présenté son chabot comme une sorte de version logicielle d'entreprise de ChatGPT.

    Amazon Q sera en concurrence avec des outils similaires de Microsoft et de Google, mais son prix sera inférieur à celui de ses rivaux, du moins au début. En dévoilant Q, les dirigeants d'Amazon l'ont présenté comme étant plus sûr que les outils grand public tels que ChatGPT. Adam Selipsky, PDG d'AWS, a déclaré au New York Times que "les entreprises avaient banni ces assistants d'IA en raison des problèmes de sécurité et de confidentialité. En réponse, le Times a déclaré : « Amazon a conçu Q pour qu'il soit plus sûr et plus privé qu'un chatbot grand public ». Cependant, les signalements des employés suggèrent que Q est loin de tenir ses promesses.

    Les problèmes de Q ne sont pas nouveaux. Peu de temps après le lancement par Microsoft de Bing Chat, son assistant d'IA générative destiné au grand public, celui-ci est devenu viral en raison de ses propres hallucinations. Bing Chat a déclaré en toute confiance que la planète Mars est peuplée par environ 2,5 milliards de personnes. De plus, à la suite d'une attaque par "injection d'invite", le chatbot d'IA de Microsoft a révélé quelques informations censées être secrètes, notamment son nom de code interne (Sydney) ainsi que ses instructions initiales, qui sont une liste de déclarations régissant l'interaction avec les personnes qui utilisent le service.

    Cependant, les transgressions de l'outil d'Amazon sont d'autant plus ironiques que le robot a été conçu pour être une option plus sûre et plus sécurisée sur laquelle les entreprises pouvaient compter. Un mémo interne indique qu'Amazon Q peut avoir des hallucinations et renvoyer des réponses nuisibles ou inappropriées. Par exemple, une note indique que "Q est en mesure de renvoyer des informations de sécurité périmées qui pourraient mettre les comptes des clients en danger. Les risques décrits dans le document sont typiques des grands modèles de langage, qui renvoient tous des réponses incorrectes ou inappropriées au moins une partie du temps.

    Les premiers déboires de Q surviennent à un moment où Amazon s'efforce de lutter contre l'impression que Microsoft, Google et d'autres entreprises technologiques l'ont dépassé dans la course à la création d'outils et d'infrastructures qui tirent parti de l'IA générative. En septembre, la société a annoncé qu'elle investirait jusqu'à 4 milliards de dollars dans la startup d'IA Anthropic. Mais après la fuite sur les problèmes critiques de Q, les organisations devraient hésiter longuement avant de donner l'accès à leurs données sensibles au chatbot d'Amazon. Ce qui signifie que le produit d'Amazon n'est pas en bonne position pour faire de l'ombre à ses rivaux.

    En novembre, OpenAI a présenté ses chatbots personnalisables, appelés GPT, qui peuvent répondre à des questions en utilisant des données internes plutôt que le Web dans son ensemble. Mais le déploiement de son GPT Store a été retardé en raison de l'agitation liée à l'éviction surprise du PDG Sam Altman.

    Et vous ?

    Quel est votre avis sur le sujet ?
    Que pensez-vous du chatbot d'IA professionnel d'Amazon ?
    Que pensez-vous des problèmes critiques dont souffrirait le chatbot d'IA ?
    Le produit d'IA d'Amazon peut-il connaître un succès auprès des organisations ?
    Seriez-vous prêt à donner l'accès aux données de votre entreprise à un chatbot tel que Q ou GPT ?

    Voir aussi

    Amazon lance Q, un chatbot professionnel doté d'une intelligence artificielle générative, Amazon multiple les efforts dans la course à l'IA

    Amazon investit 4 milliards de dollars dans Anthropic et se lance dans une guerre de l'IA avec Microsoft et Google de Claude à Claude-Next, le pari audacieux d'Amazon sur l'IA d'Anthropic

    OpenAI introduit des assistants d'IA personnalisés appelés « GPT » qui jouent différents rôles selon vos besoins et prévoit de rémunérer les créateurs dont les GPT seront utilisés

Discussions similaires

  1. Réponses: 0
    Dernier message: 22/09/2023, 14h43
  2. WorkMail : Amazon lance son service de messagerie d'entreprise
    Par Michael Guilloux dans le forum Cloud Computing
    Réponses: 0
    Dernier message: 30/01/2015, 09h03
  3. Amazon lance Fire Phone
    Par Hinault Romaric dans le forum Android
    Réponses: 11
    Dernier message: 27/08/2014, 12h00
  4. Amazon lance AWS CloudHSM
    Par Stéphane le calme dans le forum Cloud Computing
    Réponses: 0
    Dernier message: 27/03/2013, 16h35
  5. Réponses: 8
    Dernier message: 29/03/2011, 19h27

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo